Formation Orchestration de pipelines avec Apache Airflow

Programme de notre formation Orchestration de pipelines avec Apache Airflow

[Jour 1 – Matin]

Concevoir des pipelines de données orchestrés

• Rôle de l’orchestration dans les architectures data
• Structuration d’un pipeline de données
• Définition des DAGs et dépendances
• Organisation des tâches et workflows
• Cas d’usage Data Engineering
• Atelier pratique : Conception d’un pipeline orchestré.

[Jour 1 – Après-midi]

Planification et automatisation des workflows

• Planification des tâches avec Airflow
• Gestion des dépendances
• Automatisation des processus récurrents
• Gestion des erreurs et relances
• Fiabilisation des pipelines
• Atelier pratique : Mise en place d’un workflow automatisé.

[Jour 2 – Matin]

Supervision et monitoring des pipelines

• Suivi de l’exécution des DAGs
• Monitoring des workflows
• Gestion des logs
• Détection des anomalies
• Alerting et notifications
• Atelier pratique : Analyse et supervision d’un pipeline.

[Jour 2 – Après-midi]

Industrialisation et bonnes pratiques

• Structuration des projets Airflow
• Bonnes pratiques d’orchestration
• Gestion des environnements
• Optimisation des workflows
• Fiabilité et scalabilité
• Atelier pratique : Industrialisation d’un pipeline complet.