Formations Management Gestion de projet Formation Apache Airflow

Formation Apache Airflow

Noté 4.4 sur 5
Logo Formation Airflow
Prix 1990€ HT / personne
Durée 3 jours (21 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
NewCafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Je ne veux pas me déplacer ? Option classe virtuelle gratuite

Présentation

Apache Airflow est un outil de scheduling vous permettant de superviser, monitorer et planifier des centaines de pipelines écrits en Python. Fini les outils de workflow as click-click ou utilisant des langages descriptif ( XML , JSON , YAML … ) difficile à lire et à écrire, avec Airflow tous vos pipelines sont codés en Python, vous offrant une flexibilité et expressivité inégalée.

Airflow a rapidement gagné en popularité du fait de sa simplicité d’utilisation grâce à son interface utilisateur et de sa capacité à rendre vos workflows dynamiques. Airflow est aussi extrêmement modulaire vous permettant de créer vos propres plug-ins, opérateurs et exécuteurs afin de coller au mieux à votre architecture big data. Sachez enfin que vous pouvez tout aussi bien profiter des créations de la communauté qui est très active.

Dans cette formation vous allez découvrir les différents concepts de bases qui composent Airflow, qu’est-ce qu’un DAG, une tâche, un exécuteur, un opérateur, etc. Nous ferons un tour de l’interface utilisateur ainsi que de l’interface en ligne de commande afin de très rapidement développer notre premier workflow interagissant avec différents systèmes de données.

Les concepts avancés seront aussi abordés et mis en pratiques à travers de multiples exemples et nous verrons aussi comment rendre Airflow scalable à travers l’utilisation de différents Executors. Un programme chargé donc, mais qui vous permettra d’appréhender sereinement Airflow et de pouvoir orchestrer vos pipelines de données de manière simple et robuste.

Comme dans toutes nos formations, nous utiliserons la dernière version stable des logiciels Apache Airflow 2.5.

 

Objectifs

  • Découvrir les fonctionnalités d’Apache Airflow
  • Savoir concevoir, planifier et monitorer ses workflows
  • Connaître le fonctionnement interne de Airflow
  • Savoir comment scaler Airflow afin de gérer un nombre conséquent de pipelines
  • Connaître les best practices et limitations de Airflow

 

Public visé

  • Ingénieur Big data
  • Développeur
  • Tech Lead
  • Architecte Technique

 

Pré-requis

  • Connaissance en langage Python
  • Connaissance des outils Docker et Docker Compose

Programme de notre Formation Apache Airflow

 

 Introduction

  • Les objectifs
  • Organisation de la formation
  • Qui suis-je ?
  • Présentation de l’environnement de développement (installation des outils)

 

Découverte de Apache Airflow

  • Pourquoi l’utiliser et pour quels besoins
  • Les concurrents de Airflow
  • L’architecture de Airflow
  • Comprendre le fonctionnement de Airflow et comment les workflows sont planifiés
  • [Pratique] Installer Airflow
  • [Pratique] Découverte de l’interface utilisateur
  • [Pratique] Découverte de la CLI et HTTP REST API
  • Quiz

 

 Coder son premier Workflow avec Airflow

  • Définir ce qu’est un DAG (Directed Acyclic Graph)
  • [Pratique] Coder notre premier DAG
  • Les différent type d’operators
  • [Pratique] Ajout des trois principaux opérateurs dans notre DAG
  • Les dépendances entre opérateurs et la bitshift composition
  • [Pratique] Définition de l’ordre d’exécution des tâches dans notre DAG
  • Comment le planificateur de Airflow fonctionne précisément ?
  • Définition d’un Workflow
  • Quiz

 

Exécuteurs et leurs backend

  • Les différents exécuteurs et backend
  • Leurs avantages et faiblesses
  • [Pratique] Configurer un LocalExcutor et run un DAG
  • [Pratique] Configurer un CeleryExecutor et run un DAG
  • Quiz

 

Les concepts dynamiques de Airflow

  • Minimiser les patterns répétitifs d’un DAG avec les SubDags
  • [Pratique] Simplifier un DAG avec les SubDags
  • Les XCOMS
  • [Pratique] Échanger des données en utilisant les XCOMS
  • Comment exécuter différentes tâches en fonction de critères dynamiques
  • [Pratique] Créer nos premières tâches conditionnelles
  • Contrôler les tâches contenu dans un DAG avec les SLAs
  • [Pratique] Définition des SLAs pour nos tâches
  • Les airflow variables
  • [Pratique] utiliser les variables depuis notre DAG
  • Les airflow connections
  • [Pratique] utiliser les connections depuis notre DAG
  • Jinja Templating, Macros et Variables
  • [Pratique] Ajouter des données au run time avec les Macros et les templates
  • Les Pools
  • Quiz

 

Les Airflow providers pour interagir avec le reste du monde

  • Les providers existant et leur installation
  • Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu
  • Personnaliser un opérateur existant
  • [Pratique] Installer un provider et en personnaliser un opérateur
  • Quiz

 

Administrer Airflow: Sécurité, RBAC, Metriques et Logging

  • Sécuriser Airflow
  • La création d’utilisateurs et l’authentification
  • [Pratique] Revue des différents moyens d’authentification
  • Découverte du RBAC (Role-based Access Control)
  • [Pratique] Création de différents utilisateurs et rôles
  • Découverte du système de log et sa configuration
  • [Pratique] Configuration des logs
  • Monitorer Airflow et metrics à surveiller
  • [Pratique] Monitoring de Airflow avec dashboard Grafana
  • Quiz

 

MODULE COMPLÉMENTAIRE (+1 JOUR) : APACHE AIRFLOW AVANCÉ

 

Création d’un plugin Airflow pour intéragir avec ELASTICSEARCH et POSTGRESQL

  • Ajouter des fonctionnalités dans Apache Airflow
  • [Pratique] Créer un Hook pour interagir avec Elasticsearch
  • [Pratique] Créer un TransferOperator pour transférer des données depuis PostgreSQL vers ElasticSearch
  • [Pratique] Ajouter une vue à l’interface utilisateur de Airflow
  • Quiz

 

Administration de Airflow Avancé

  • [Pratique] Utilisation de librairie Crypto pour sécuriser Airflow
  • [Pratique] Utilisation de InfluxDB et Telegraph pour le monitoring the Airflow
  • Quiz

Pour aller plus loin

Formation Intelligence Artificielle

Formation TensorFlow

Formation Kafka

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Marc

Marc

Ingénieur Big Data dans la plus grande banque en ligne en France. Depuis plus de 3 ans, j’ai créé différents ETL afin de résoudre les problèmes quotidiens d’une banque.

Passionné et enthousiaste, j’ai à cœur de partager mes connaissances au plus grand nombre et d’échanger sur des technologies plus ou moins connues qui nous rassemblent.

Je suis très axé sur la pratique et je suis persuadé que c’est le meilleur moyen d’apprendre et d’acquérir de nouvelles connaissances.

Témoignages

Noté 4 sur 5
14 décembre 2022

Les – : Ne devrait pas être proposée en distanciel, nous n’avons été prévenus que trop tardivement des ressources nécessaires pour travailler (accès machine en admin , RAM importante, plusieurs installations de logiciels et configurations chronophages), si bien que nous avons perdu une bonne partie de notre temps le premier jour et n’avons pas pu participer à certains exercices, faute des ressources nécessaires en privé.

Thierry C. de chez Nexoris

Afficher tous les témoignages

Noté 4 sur 5
14 décembre 2022

Les – : Ne devrait pas être proposée en distanciel, nous n’avons été prévenus que trop tardivement des ressources nécessaires pour travailler (accès machine en admin , RAM importante, plusieurs installations de logiciels et configurations chronophages), si bien que nous avons perdu une bonne partie de notre temps le premier jour et n’avons pas pu participer à certains exercices, faute des ressources nécessaires en privé.

Thierry C. de chez Nexoris
Noté 4 sur 5
14 décembre 2022

Les + : Avoir répondu à des problématiques professionnel, l’informateur était bien compétent (technique et pédagogique)

Les – : la complexité de la formation à distance, moins de contact et le manque du matériel nécessaire

NGOC THIEN AN N. de chez ATOS FRANCE
Noté 3 sur 5
14 décembre 2022

Les + : formateur très compétent et maitrisant son sujet

Les – : Cette formation NE devrait PAS être faite à distance ! Durant la première journée, la connexion avec l’animateur était régulièrement coupée.

Nous n’avions pas des ordinateurs de développements et il était impossible de faire les exercices sur nos propres ordinateurs personnels.

Nous avons passé beaucoup de temps à essayer d’installer les outils sur des machines pas assez performantes et cela ne nous a pas permis de manipuler au maximum les outils Airflow

Je souhaite suivre : Je ne sais pas

En synthèse : Je ne recommanderai pas cette formation en distanciel.

Emmanuelle B. de chez Nexoris
Noté 4 sur 5
14 décembre 2022

Les + : environnement de test très facile à utiliser, bonne couverture fonctionnelle de l’outil. Bon rapports avec le formateur

Les – : Difficultées réseau à distance, hétérogénéité des étudiants (pas de la faute de l’organisme ni du formatteur)

GUILLAUME E. de chez ATOS FRANCE
Noté 5 sur 5
19 octobre 2022

Les + : sujet intéressant avec un TP tout au long de la formation qui permet de comprendre de bout en bout AIRFLOW

En synthèse : Marc est à l’écoute et connait très bien son sujet, il prend du temps pour répondre à chacun.

Karim M. de chez SFR
Noté 5 sur 5
19 octobre 2022

Les + : formateur très bienveillant, bonne équipe, très clair, mais très technique !!

En synthèse : merci à Marc pour sa patience, sa tolérance, son empathie et ses explications très claires !!

Virginie M. de chez SFR
Noté 4 sur 5
19 octobre 2022

Les + : les TP

Marc R. de chez SFR
Noté 5 sur 5
19 octobre 2022

Les + : Très pratique

Accessible

Adaptée

Les – : Je n’ai pas de point particulier à mentionner.

En synthèse : Je suis très satisfait de la formation.

Jean-Paul B. de chez SFR
Noté 5 sur 5
19 octobre 2022

Les + : Accessible même si on n’a pas un profil développeur. Le formateur a une très bonne pédagogie.

Je souhaite suivre : à voir selon le catalogue proposé

En synthèse : Je recommande vraiment

Valérie N. de chez SFR
Noté 5 sur 5
5 octobre 2022

Une vue complète d’Airflow.

Un formateur expert.

La vue complète de l’outil est aussi un point faible, car certaines personnes ne sont pas sensibles à tous les points.

Comme évoqué à Raphaël, proposer 2 formations supplémentaires serait utile : orientée infra et déploiement de l’outil ; orientée création/gestion des DAG.

Pour le moment, je ne sais pas.

Je sors de la formation avec un avis positif et je me suis déjà mis en situation sur la mise en place d’Airflow dans ma mission.

Bertrand F. de chez SOCIETE POUR L'INFORMATIQUE INDUSTRIELLE - Villeneuve d'Ascq
Noté 4 sur 5
5 octobre 2022

Aisance du formateur et individualisation des problématiques

quelques complications techniques par moments, formation très large et pouvant manquer d’intérêt pour des personnes intéressées par des points précis

Valentin C. de chez SOCIETE POUR L'INFORMATIQUE INDUSTRIELLE - Villeneuve d'Ascq
Noté 4 sur 5
5 octobre 2022

Connaissances complètes du formateur.

Balayage des fonctionnalités majeures d’Airflow

Petit groupe

La distance

Le jonglage entre diapo et partage d’écran

Romain D. de chez SOCIETE POUR L'INFORMATIQUE INDUSTRIELLE - Villeneuve d'Ascq
Noté 5 sur 5
5 octobre 2022

Je recommande la formation

Sylvie F. de chez INSTITUT DE RECHERCHE
Noté 5 sur 5
6 mai 2022

Formateur / pédagogie / structure

Pas beaucoup de points faibles

Je ne les connais pas

Fabrice D. de chez SFR
Noté 4 sur 5
6 mai 2022

Formateur compétent et à l’écoute et dispo.

Très bon cours.

Cours très interessant

Pas de support de cours

Ecran de très petite taille, gros problème de l’affichage. Ce qui complique les TPs.

RAS

Très satisfait de la formation

Abdouramane M. de chez SFR
Noté 4 sur 5
6 mai 2022

Je recommande la formation

Christian H. de chez SFR
Noté 4 sur 5
6 mai 2022

absence de support de cours

Cyril B. de chez SFR
Noté 5 sur 5
6 mai 2022

La pratique était très utile

Irina I. de chez SFR
Noté 5 sur 5
6 mai 2022

Flexibilité, jovialité du formateur

Equilibre théorie et pratique

Bonne prise en main du code pour un débutant que je suis 😉

Pas de support livré à la fin de la séance de formation ;-/

Bien insisté en majuscule, police 15, Gras dans la convocation afin que les apprenants puissent avoir accès à leur poste en administration afin de pouvoir installer AnyDesk, idéalement à J-7 le temps de demander l’accès au SI SFR

N/A

N/A

Davoud A. de chez SFR
Noté 4 sur 5
25 mars 2022

Les travaux pratiques.

Instabilité des VM

Teang-Pheng L. de chez SFR
Noté 3 sur 5
25 mars 2022

formateur très bien

pas adaptée pour des débutants qui ont besoin juste de connaitre les grandes lignes.

une formation spécifique sfr sera bien

ne pas mélanger des débutants avec des confirmés(même remarque que pour la formation elastic stack)

Karine E. de chez SFR
Noté 5 sur 5
25 mars 2022

Beaucoup de pratique sur Airflow, très bon niveau du formateur

Complexité de mise en oeuvre de l’environnement : L’installation de Airflow me semble être légèrement hors sujet

Phuoc H. de chez SFR
Noté 5 sur 5
25 mars 2022

Rythme, les quiz tout au long de la formation pour réviser/assimiler, l’équilibre entre théorie et pratique.

Mise à disposition des environnements VM approximatif.

Xavier S. de chez SFR
Noté 5 sur 5
25 mars 2022

Très bon formateur

Yannick B. de chez SFR
Noté 5 sur 5
10 décembre 2021

Bonne decouverte du produit avec un réel engagement du formateur

Formation très dense

David M. de chez SFR
Noté 4 sur 5
10 décembre 2021

Bonne vue d ensemble

Rythme un peu lent. Niveau des participants trop hétérogène

Jerome A. de chez SFR
Noté 4 sur 5
10 décembre 2021

de l’installation d’u container apache airflow au développement du DAG

délai un peu compressé

syntaxe des commandes un peu strict pour non habitué

ne sais pas

Bravo au formateur pour sa patience et son aide aux corrections

Jacques D. de chez SFR
Noté 5 sur 5
10 décembre 2021

l’animateur super, il a su s’adapter à des niveaux techniques différents, la formation était très complète , interactive, dense mais on a pu faire des quizz , des exemples pertinents , des exercices ..;très complet

le formateur n’avait pas la main sur les VM mais avec le travail en équipe on s’en est sorti avec le partage d’écran;

pour le moment ca a été

formateur très compétent, très sympa , à l’écoute et formation très intéressante malgré le fait que c’est assez technique , c’ét

Daniela A. de chez SFR
Noté 4 sur 5
10 décembre 2021

formateur

trop court

Sonia B. de chez SFR
Noté 4 sur 5
10 décembre 2021

cours varié avec des cas pratiques

à distance c’est moins facile pour les installations

je ne sais pas

Delphine M. de chez SFR
Noté 4 sur 5
10 décembre 2021

Je recommande la formation

Nicolas A. de chez SFR
Noté 4 sur 5
10 décembre 2021

L’animateur compétent et à l’écoute.

Les machine mises à disposition.

Le format en réunion à distance avec pas mal de perte de temps.

Gilles R. de chez SFR
Noté 4 sur 5
10 décembre 2021

Beaucoup de pratique

Trops de différences techniques entre les participants

Armel D. de chez SFR
Noté 5 sur 5
16 septembre 2020

Je recommande la formation

Alban S. de chez SFR
Noté 5 sur 5
16 septembre 2020

Je recommande la formation

Sophie P. de chez
Noté 5 sur 5
16 septembre 2020

Le formateur

Merci

Amine B. de chez SFR
Noté 4 sur 5
16 septembre 2020

Je recommande la formation

Cédric T. de chez SFR

Noter la formation

Prix 1990€ HT / personne
Durée 3 jours (21 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
NewCafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Je ne veux pas me déplacer ? Option classe virtuelle gratuite

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp