Sélectionner une page
Formations Data Data Engineer Formation Apache Airflow

Formation Apache Airflow

Logo Formation Airflow
Prix 1990€ HT / personne
Durée 3 jours (21 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

Présentation

Notre formation Apache Airflow vous permettra de superviser, monitorer et planifier des centaines de pipelines. Ecrit en Python, Airflow est une alternative aux outils de workflow utilisant des langages descriptif ( XML , JSON , YAML … ) difficile à lire et à écrire.

À la fin de cette formation, vous pourrez rendre vos workflows dynamiques, automatisés et scalables. Vous apprendrez également à créer vos propres plug-ins, opérateurs et exécuteurs afin de coller au mieux à votre architecture big data.

Vous découvrirez les différents concepts qui composent Airflow, qu’est-ce qu’un DAG, une tâche, un exécuteur, un opérateur, etc. Nous ferons un tour de l’interface utilisateur ainsi que de l’interface en ligne de commande afin de très rapidement développer notre premier workflow interagissant avec différents systèmes de données.

De plus, vous apprendrez également les concepts avancés. Nous verrons avec de la mise en pratique et à travers de multiples exemples : comment rendre Airflow scalable à travers l’utilisation de différents Executors. Un programme qui vous permettra d’orchestrer vos pipelines de données de manière simple et robuste.

Comme dans toutes nos formations, nous utiliserons la dernière version stable des logiciels Apache Airflow 2.9.

 

Objectifs

  • Découvrir les fonctionnalités d’Apache Airflow
  • Savoir concevoir, planifier et monitorer ses workflows
  • Connaître le fonctionnement interne de Airflow
  • Savoir comment scaler Airflow afin de gérer un nombre conséquent de pipelines
  • Connaître les best practices et limitations de Airflow

 

Public visé

  • Ingénieur Big data
  • Développeur
  • Tech Lead
  • Architecte Technique

 

Pré-requis

 

Pré-requis logiciel

  • La dernière version de Docker installée
  • La dernière version de Docker Compose installée
  • La dernière version de Python installée
  • La dernière version d’Airflow installée
  • Minimum 8GO de RAM et un SSD

 

Recommandations de lecture avant et après la formation

Programme de notre Formation Apache Airflow

 

 Introduction

  • Les objectifs
  • Organisation de la formation
  • Qui suis-je ?
  • Présentation de l’environnement de développement (installation des outils)

 

Découverte de Apache Airflow

  • Pourquoi l’utiliser et pour quels besoins
  • Les concurrents de Airflow
  • L’architecture de Airflow
  • Comprendre le fonctionnement de Airflow et comment les workflows sont planifiés
  • [Pratique] Installer Airflow
  • [Pratique] Découverte de l’interface utilisateur
  • [Pratique] Découverte de la CLI et HTTP REST API
  • Quiz

 

 Coder son premier Workflow avec Airflow

  • Définir ce qu’est un DAG (Directed Acyclic Graph)
  • [Pratique] Coder notre premier DAG
  • Les différent type d’operators
  • [Pratique] Ajout des trois principaux opérateurs dans notre DAG
  • Les dépendances entre opérateurs et la bitshift composition
  • [Pratique] Définition de l’ordre d’exécution des tâches dans notre DAG
  • Comment le planificateur de Airflow fonctionne précisément ?
  • Définition d’un Workflow
  • Quiz

 

Exécuteurs et leurs backend

  • Les différents exécuteurs et backend
  • Leurs avantages et faiblesses
  • [Pratique] Configurer un LocalExcutor et run un DAG
  • [Pratique] Configurer un CeleryExecutor et run un DAG
  • Quiz

 

Les concepts dynamiques de Airflow

  • Minimiser les patterns répétitifs d’un DAG avec les SubDags
  • [Pratique] Simplifier un DAG avec les SubDags
  • Les XCOMS
  • [Pratique] Échanger des données en utilisant les XCOMS
  • Comment exécuter différentes tâches en fonction de critères dynamiques
  • [Pratique] Créer nos premières tâches conditionnelles
  • Contrôler les tâches contenu dans un DAG avec les SLAs
  • [Pratique] Définition des SLAs pour nos tâches
  • Les airflow variables
  • [Pratique] utiliser les variables depuis notre DAG
  • Les airflow connections
  • [Pratique] utiliser les connections depuis notre DAG
  • Jinja Templating, Macros et Variables
  • [Pratique] Ajouter des données au run time avec les Macros et les templates
  • Les Pools
  • Quiz

 

Les Airflow providers pour interagir avec le reste du monde

  • Les providers existant et leur installation
  • Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu
  • Personnaliser un opérateur existant
  • [Pratique] Installer un provider et en personnaliser un opérateur
  • Quiz

 

Administrer Airflow: Sécurité, RBAC, Metriques et Logging

  • Sécuriser Airflow
  • La création d’utilisateurs et l’authentification
  • [Pratique] Revue des différents moyens d’authentification
  • Découverte du RBAC (Role-based Access Control)
  • [Pratique] Création de différents utilisateurs et rôles
  • Découverte du système de log et sa configuration
  • [Pratique] Configuration des logs
  • [Pratique] Monitorer Airflow et metrics à surveiller
  • Quiz

 

MODULE COMPLÉMENTAIRE (+1 JOUR) : APACHE AIRFLOW AVANCÉ

 

Création d’un plugin Airflow pour intéragir avec ELASTICSEARCH et POSTGRESQL

  • Ajouter des fonctionnalités dans Apache Airflow
  • [Pratique] Créer un Hook pour interagir avec Elasticsearch
  • [Pratique] Créer un TransferOperator pour transférer des données depuis PostgreSQL vers ElasticSearch
  • [Pratique] Ajouter une vue à l’interface utilisateur de Airflow
  • Quiz

 

Administration de Airflow Avancé

  • [Pratique] Utilisation de librairie Crypto pour sécuriser Airflow
  • [Pratique] Utilisation de InfluxDB et Telegraph pour le monitoring the Airflow
  • Quiz

Pour aller plus loin

Formation Intelligence Artificielle

Formation TensorFlow

Formation Kafka

Autour du sujet

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Marc

Marc

Ingénieur Big Data dans la plus grande banque en ligne en France. Depuis plus de 3 ans, j’ai créé différents ETL afin de résoudre les problèmes quotidiens d’une banque.

Passionné et enthousiaste, j’ai à cœur de partager mes connaissances au plus grand nombre et d’échanger sur des technologies plus ou moins connues qui nous rassemblent.

Je suis très axé sur la pratique et je suis persuadé que c’est le meilleur moyen d’apprendre et d’acquérir de nouvelles connaissances.

Témoignages

5 juin 2024

Les + : Formation bien équilibrée entre théorie et pratique.

Les – : Cette formation gagnerait à se faire en présentiel.

Francois M. de chez SFR SA

Afficher tous les témoignages

5 juin 2024

Les + : Formation bien équilibrée entre théorie et pratique.

Les – : Cette formation gagnerait à se faire en présentiel.

Francois M. de chez SFR SA
5 juin 2024

Les + : J’ai beaucoup apprécié la pédagogie du formateur.

Emmanuel R. de chez SFR SA
5 juin 2024

Je recommande la formation

Matilde B. de chez ORNESS-SYS
5 juin 2024

Je recommande la formation

Yasmine H. de chez SFR SA
5 juin 2024

Les + : Cette formation est très pointue pour toute personne voulant découvrir ou approfondir les fonctionnalités de l’outil.

Les – : La formation nécessite absolument un vernis de prérequis techniques indispensables à sa compréhension.

Cyril B. de chez SFR SA
5 juin 2024

Les + : L’étendue des concepts d’Airflow qui ont été abordés

Les – : Le mode distanciel nécessite un temps d’adaptation plus important qu’en présentiel et l’interaction entre les participants et le formateur est plus difficile.

En synthèse : Le formateur a su maintenir l’intérêt des participants, malgré le mode distanciel

Maxime T. de chez SFR SA
5 juin 2024

Ludovic Q. de chez SFR SA
17 janvier 2024

Les + : Variété des sujets, bon rythme

Les – : Peut etre avoir des exemples concrets professionnels et pratiques d’utilisation de Airflow : bonnes pratiques, mauvaises pratiques

Romain B. de chez FREE S.A.S
17 janvier 2024

Les + : permet de bien situer les possibilités de Airflow a travers de nombreux exemples accessibles

Jérôme B. de chez CIMES pour le compte de la Direction de la Formation SFR Group
17 janvier 2024

Les + : Interactivité

Clarté

En synthèse : Très content de cette formation qui a répondue entièrement à mes attentes.

Alexandre de chez Armée de l'air
17 janvier 2024

Les + : Beaucoup de cas pratiques étudiés.

Bon équilibre entre théorie et pratique.

Les – : Approfondir un peu plus l’écosystème autour de Apache Airflow.

Je souhaite suivre : En étude avec mon manager Xavier Scherpereel.

En synthèse : Objectif personnel atteint en terme de découverte des fonctionnalités de l’outil.

Luc D. de chez CIMES pour le compte de la Direction de la Formation SFR Group
11 octobre 2023

Les + : vision globale, équilibre théorique pratique, petite équipe, doc pas lourdes

Les – : petites coquilles

OLIVIER D. de chez Eviden France

Noter la formation

Prix 1990€ HT / personne
Durée 3 jours (21 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp