Formation Apache Airflow

Programme de notre Formation Apache Airflow

Introduction & fondamentaux Airflow

• Rappels sur la data orchestration (ETL, reprise automatique, scaling)
• Présentation d’Apache Airflow : rôle, cas d’usage, avantages
• Historique et chronologie du projet
• Portabilité d’Airflow dans l’écosystème Big Data
• Pourquoi Airflow ? Orchestration à grande échelle, intégration avec outils tiers. Communauté & support

Installation & prise en main

• Installation classique d’Airflow
• Installation via Docker
• Installation et utilisation de Astro CLI :
  • Création de projet Airflow
  • Démarrage d’un environnement local
  • Avantages pour l’industrialisation
• Airflow UI & Airflow CLI :
  • Commandes essentielles (db init, db clean, dags backfill, tasks test).
  • Airflow API v2 (Airflow 3) : documentation, premiers appels, démonstration

Maîtriser les DAGS

• Concepts de base : DAG, Task, Operator, dépendances
• Créer un DAG :
  • Approche << classique » (contexte with DAG). Approche décorateurs (@dag, @task)
  • Focus sur les paramètres d’un DAG
• DAG scheduling :
  • start_date, schedule (cron, presets, timedelta). Data interval, état des tâches
• Catchup & Backfill :
  • Concepts, bonnes pratiques, idempotence. Backfill via CLI et via Airflow UI (Airflow 3)
• Pratique :  exercices de scheduling (unpause, catchup, backfill)

Scheduling avancé & data-aware

• Data-Aware Scheduling :
  • Notion d’Asset (dataset)
  • Dépendances orientées données entre tâches, assets et DAGS
  • Exemples : déclenchement sur disponibilité d’un fichier / d’une table
• Dataset scheduling mise en pratique (outlets, schedule)
• Event-Driven Scheduling (Airflow 3) :
• Déclenchement de DAGS via événements externes et message queues
• Autres modes de scheduling :
  • Trigger via API (Airflow REST API)
  • Scheduling par timedelta

Partage de données & templating

• XCom : principe, stockage, limites, bonnes pratiques
• Pratique : échange de données entre tâches via XCom. Jinja templating :
  • Variables de contexte (ds, data_interval_start, etc.)
  • Référentiel des templates Airflow

Organisation du code & gestion des erreurs

• Organisation du dossier dags et Impact sur les performances du DAG Processor
• Gestion des erreurs :
  • Stratégies DAG-level et Task-level
  • Notification (on_success, on_failure) et self-healing
• Pratique : factorisation du code, gestion d’erreurs avec handlers dédiés

Tests & CI/CD

• Pourquoi tester les DAGS et les tasks
• Outils et commandes
• Sanity checks : tests de base sur la validité des DAGS
• Tests unitaires de tasks

Concepts avancés de DAGS

• Task Groups : structuration visuelle et logique des DAGS
• Branching/branchement conditionnel
• Re-branchement du flux
• Trigger Rules : règles de déclenchement avancées, cas pratiques

Variables, configuration et environnements

• Variables Airflow :
  • Définition (UI, CLI, fichier JSON)
  • Utilisation dans les DAGS
• Gestion multi-environnements (dev, staging, prod) via fichiers de configuration
• Pratique mise à jour de DAGs producer/consumer avec variables de config

Nouveautés Airflow 3

• Architecture Airflow 2 vs Airflow 3
• Task SDK & Remote Execution : exécution distante, Edge Executor, isolation. Nouvelle UI : vues, performances, découplage via API REST
• DAG Versioning :
  • Limitations d’Airflow 2
  • Versioning automatique, changement structurel, snapshot par run.
• Task Approach vs Asset Approach :
  • Concepts, différences, tableau comparatif
  • Travaux pratiques Asset Approach

Connections, Pools & intégration

• Connections : principe, définition, utilisation depuis les DAGS
• Pools contrôle de la concurrence par ressource
• Pratique : DAG PostgreSQL (création de table, insertion, lecture)
• Providers externes :
  • Google, Amazon, Docker, Slack, PostgreSQL, etc.

Executors & scalabilité

• Rôle de l’Executor
• Types d’Executors : Sequential, Local (défaut Airflow 3), Celery, Kubernetes
• Contrôle de la concurrence
• CeleryExecutor :
  • Architecture, scalabilité horizontale, tolérance aux pannes
  • Mise en pratique avec docker-compose Airflow officiel

Sécurité, monitoring & logging

• Pilier sécurité : authentification, autorisation (RBAC), secrets, réseau, audit, logs
• Authentification (LDAP, OAuth2, SSO, backend d’auth)
• RBAC : rôles, permissions, bonnes pratiques.
• Secrets & connexions : Secrets Backend (Vault, AWS/GCP)
• Sécurité des DAGS, réseau et audit/logs
• Monitoring du cluster Airflow
• Système de logs : local, S3/GCS, ElasticSearch
• Stack ELK (Filebeat, Logstash, Elasticsearch, Kibana) pour les logs Airflow

Limites d’Airflow & intégration écosystème

• Limites d’Airflow
• Combinaisons : Airflow + Spark / Beam / Flink