Formation Apache Airflow

Programme de notre Formation Apache Airflow

Introduction & fondamentaux Airflow

• Rappels sur la data orchestration (ETL, reprise automatique, scaling).
• Présentation d’Apache Airflow: rôle, cas d’usage, avantages.
• Historique et chronologie du projet.
• Portabilité d’Airflow dans l’écosystème Big Data.
• Pourquoi Airflow? Orchestration à grande échelle, intégration avec outils tiers. Communauté & support.

Installation & prise en main

• Installation << classique » d’Airflow.
• Installation via Docker.
• Installation et utilisation de Astro CLI :
  • Création de projet Airflow.
  • Démarrage d’un environnement local.
  • Avantages pour l’industrialisation.
• Airflow UI & Airflow CLI :
  • Commandes essentielles (db init, db clean, dags backfill, tasks test). Airflow API v2 (Airflow 3): documentation, premiers appels, démonstration.

Maîtriser les DAGS

• Concepts de base : DAG, Task, Operator, dépendances.
• Créer un DAG:
  • Approche << classique » (contexte with DAG). Approche décorateurs (@dag, @task).
  • Focus sur les paramètres d’un DAG.
• DAG scheduling :
  • start_date, schedule (cron, presets, timedelta). Data interval, état des tâches.
• Catchup & Backfill:
  • Concepts, bonnes pratiques, idempotence. Backfill via CLI et via Airflow UI (Airflow 3).
• Pratique :  exercices de scheduling (unpause, catchup, backfill).

Scheduling avancé & data-aware

• Data-Aware Scheduling :
  • Notion d’Asset (dataset).
  • Dépendances orientées données entre tâches, assets et DAGS.
  • Exemples: déclenchement sur disponibilité d’un fichier / d’une table.
• Dataset scheduling mise en pratique (outlets, schedule).
• Event-Driven Scheduling (Airflow 3):
• Déclenchement de DAGS via événements externes et message queues.
• Autres modes de scheduling:
  • Trigger via API (Airflow REST API).
  • Scheduling par timedelta.

Partage de données & templating

• XCom: principe, stockage, limites, bonnes pratiques.
• Pratique : échange de données entre tâches via XCom. Jinja templating:
  • Variables de contexte (ds, data_interval_start, etc.).
  • Référentiel des templates Airflow.

Organisation du code & gestion des erreurs

• Organisation du dossier dags et Impact sur les performances du DAG Processor.
• Gestion des erreurs :
  • Stratégies DAG-level et Task-level.
  • Notification (on_success, on_failure) et self-healing.
• Pratique : factorisation du code, gestion d’erreurs avec handlers dédiés.

Tests & CI/CD

• Pourquoi tester les DAGS et les tasks.
• Outils et commandes
• Sanity checks: tests de base sur la validité des DAGS.
• Tests unitaires de tasks.

Concepts avancés de DAGS

• Task Groups: structuration visuelle et logique des DAGS.
• Branching/branchement conditionnel.
• Re-branchement du flux.
• Trigger Rules: règles de déclenchement avancées, cas pratiques.

Variables, configuration et environnements

• Variables Airflow:
  • Définition (UI, CLI, fichier JSON).
  • Utilisation dans les DAGS.
• Gestion multi-environnements (dev, staging, prod) via fichiers de configuration.
• Pratique mise à jour de DAGs producer/consumer avec variables de config.

Nouveautés Airflow 3

• Architecture Airflow 2 vs Airflow 3.
• Task SDK & Remote Execution: exécution distante, Edge Executor, isolation. Nouvelle UI : vues, performances, découplage via API REST.
• DAG Versioning:
  • Limitations Airflow 2.
  • Versioning automatique, changement structurel, snapshot par run.
• Task Approach vs Asset Approach:
  • Concepts, différences, tableau comparatif.
  • Travaux pratiques Asset Approach.

Connections, Pools & intégration

• Connections: principe, définition, utilisation depuis les DAGS.
• Pools contrôle de la concurrence par ressource.
• Pratique : DAG PostgreSQL (création de table, insertion, lecture).
• Providers externes :
  • Google, Amazon, Docker, Slack, Postgres, etc.

Executors & scalabilité

• Rôle de l’Executor.
• Types d’Executors: Sequential, Local (défaut Airflow 3), Celery, Kubernetes.
• Contrôle de la concurrence
• CeleryExecutor :
  • Architecture, scalabilité horizontale, tolérance aux pannes.
  • Mise en pratique avec docker-compose Airflow officiel.

Sécurité, monitoring & logging

• Pilier sécurité : authentification, autorisation (RBAC), secrets, réseau, audit, logs.
• Authentification (LDAP, OAuth2, SSO, backend d’auth).
• RBAC : rôles, permissions, bonnes pratiques.
• Secrets & connexions: Secrets Backend (Vault, AWS/GCP).
• Sécurité des DAGS, réseau et audit/logs.
• Monitoring du cluster Airflow.
• Système de logs : local, S3/GCS, Elasticsearch.
• Stack ELK (Filebeat, Logstash, Elasticsearch, Kibana) pour les logs Airflow.

Limites d’Airflow & intégration écosystème

• Limites d’Airflow
• Combinaisons Airflow + Spark / Beam / Flink.