Formation Apache Airflow
1990€ HT / personne |
3 jours (21 heures) |
Présentation
Apache Airflow est un outil de scheduling vous permettant de superviser, monitorer et planifier des centaines de pipelines écrits en Python. Fini les outils de workflow as click-click ou utilisant des langages descriptif ( XML , JSON , YAML … ) difficile à lire et à écrire, avec Airflow tous vos pipelines sont codés en Python, vous offrant une flexibilité et expressivité inégalée.
Airflow a rapidement gagné en popularité du fait de sa simplicité d’utilisation grâce à son interface utilisateur et de sa capacité à rendre vos workflows dynamiques. Airflow est aussi extrêmement modulaire vous permettant de créer vos propres plug-ins, opérateurs et exécuteurs afin de coller au mieux à votre architecture big data. Sachez enfin que vous pouvez tout aussi bien profiter des créations de la communauté qui est très active.
Dans cette formation vous allez découvrir les différents concepts de bases qui composent Airflow, qu’est-ce qu’un DAG, une tâche, un exécuteur, un opérateur, etc. Nous ferons un tour de l’interface utilisateur ainsi que de l’interface en ligne de commande afin de très rapidement développer notre premier workflow interagissant avec différents systèmes de données.
Les concepts avancés seront aussi abordés et mis en pratiques à travers de multiples exemples et nous verrons aussi comment rendre Airflow scalable à travers l’utilisation de différents Executors. Un programme chargé donc, mais qui vous permettra d’appréhender sereinement Airflow et de pouvoir orchestrer vos pipelines de données de manière simple et robuste.
Comme dans toutes nos formations, nous utiliserons la dernière version stable des logiciels Apache Airflow 2.5.
Objectifs
- Découvrir les fonctionnalités d’Apache Airflow
- Savoir concevoir, planifier et monitorer ses workflows
- Connaître le fonctionnement interne de Airflow
- Savoir comment scaler Airflow afin de gérer un nombre conséquent de pipelines
- Connaître les best practices et limitations de Airflow
Public visé
- Ingénieur Big data
- Développeur
- Tech Lead
- Architecte Technique
Pré-requis
- Connaissance en langage Python
- Connaissance des outils Docker et Docker Compose
Programme de notre Formation Apache Airflow
Introduction
- Les objectifs
- Organisation de la formation
- Qui suis-je ?
- Présentation de l’environnement de développement (installation des outils)
Découverte de Apache Airflow
- Pourquoi l’utiliser et pour quels besoins
- Les concurrents de Airflow
- L’architecture de Airflow
- Comprendre le fonctionnement de Airflow et comment les workflows sont planifiés
- [Pratique] Installer Airflow
- [Pratique] Découverte de l’interface utilisateur
- [Pratique] Découverte de la CLI et HTTP REST API
- Quiz
Coder son premier Workflow avec Airflow
- Définir ce qu’est un DAG (Directed Acyclic Graph)
- [Pratique] Coder notre premier DAG
- Les différent type d’operators
- [Pratique] Ajout des trois principaux opérateurs dans notre DAG
- Les dépendances entre opérateurs et la bitshift composition
- [Pratique] Définition de l’ordre d’exécution des tâches dans notre DAG
- Comment le planificateur de Airflow fonctionne précisément ?
- Définition d’un Workflow
- Quiz
Exécuteurs et leurs backend
- Les différents exécuteurs et backend
- Leurs avantages et faiblesses
- [Pratique] Configurer un LocalExcutor et run un DAG
- [Pratique] Configurer un CeleryExecutor et run un DAG
- Quiz
Les concepts dynamiques de Airflow
- Minimiser les patterns répétitifs d’un DAG avec les SubDags
- [Pratique] Simplifier un DAG avec les SubDags
- Les XCOMS
- [Pratique] Échanger des données en utilisant les XCOMS
- Comment exécuter différentes tâches en fonction de critères dynamiques
- [Pratique] Créer nos premières tâches conditionnelles
- Contrôler les tâches contenu dans un DAG avec les SLAs
- [Pratique] Définition des SLAs pour nos tâches
- Les airflow variables
- [Pratique] utiliser les variables depuis notre DAG
- Les airflow connections
- [Pratique] utiliser les connections depuis notre DAG
- Jinja Templating, Macros et Variables
- [Pratique] Ajouter des données au run time avec les Macros et les templates
- Les Pools
- Quiz
Les Airflow providers pour interagir avec le reste du monde
- Les providers existant et leur installation
- Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu
- Personnaliser un opérateur existant
- [Pratique] Installer un provider et en personnaliser un opérateur
- Quiz
Administrer Airflow: Sécurité, RBAC, Metriques et Logging
- Sécuriser Airflow
- La création d’utilisateurs et l’authentification
- [Pratique] Revue des différents moyens d’authentification
- Découverte du RBAC (Role-based Access Control)
- [Pratique] Création de différents utilisateurs et rôles
- Découverte du système de log et sa configuration
- [Pratique] Configuration des logs
- Monitorer Airflow et metrics à surveiller
- [Pratique] Monitoring de Airflow avec dashboard Grafana
- Quiz
MODULE COMPLÉMENTAIRE (+1 JOUR) : APACHE AIRFLOW AVANCÉ
Création d’un plugin Airflow pour intéragir avec ELASTICSEARCH et POSTGRESQL
- Ajouter des fonctionnalités dans Apache Airflow
- [Pratique] Créer un Hook pour interagir avec Elasticsearch
- [Pratique] Créer un TransferOperator pour transférer des données depuis PostgreSQL vers ElasticSearch
- [Pratique] Ajouter une vue à l’interface utilisateur de Airflow
- Quiz
Administration de Airflow Avancé
- [Pratique] Utilisation de librairie Crypto pour sécuriser Airflow
- [Pratique] Utilisation de InfluxDB et Telegraph pour le monitoring the Airflow
- Quiz
Pour aller plus loin
Formation Intelligence Artificielle
Formation TensorFlow
Formation Kafka
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Marc
Passionné et enthousiaste, j’ai à cœur de partager mes connaissances au plus grand nombre et d’échanger sur des technologies plus ou moins connues qui nous rassemblent.
Je suis très axé sur la pratique et je suis persuadé que c’est le meilleur moyen d’apprendre et d’acquérir de nouvelles connaissances.
Témoignages
Les – : Ne devrait pas être proposée en distanciel, nous n’avons été prévenus que trop tardivement des ressources nécessaires pour travailler (accès machine en admin , RAM importante, plusieurs installations de logiciels et configurations chronophages), si bien que nous avons perdu une bonne partie de notre temps le premier jour et n’avons pas pu participer à certains exercices, faute des ressources nécessaires en privé.
Afficher tous les témoignages
Les – : Ne devrait pas être proposée en distanciel, nous n’avons été prévenus que trop tardivement des ressources nécessaires pour travailler (accès machine en admin , RAM importante, plusieurs installations de logiciels et configurations chronophages), si bien que nous avons perdu une bonne partie de notre temps le premier jour et n’avons pas pu participer à certains exercices, faute des ressources nécessaires en privé.
Les + : Avoir répondu à des problématiques professionnel, l’informateur était bien compétent (technique et pédagogique)
Les – : la complexité de la formation à distance, moins de contact et le manque du matériel nécessaire
Les + : formateur très compétent et maitrisant son sujet
Les – : Cette formation NE devrait PAS être faite à distance ! Durant la première journée, la connexion avec l’animateur était régulièrement coupée.
Nous n’avions pas des ordinateurs de développements et il était impossible de faire les exercices sur nos propres ordinateurs personnels.
Nous avons passé beaucoup de temps à essayer d’installer les outils sur des machines pas assez performantes et cela ne nous a pas permis de manipuler au maximum les outils Airflow
Je souhaite suivre : Je ne sais pas
En synthèse : Je ne recommanderai pas cette formation en distanciel.
Les + : environnement de test très facile à utiliser, bonne couverture fonctionnelle de l’outil. Bon rapports avec le formateur
Les – : Difficultées réseau à distance, hétérogénéité des étudiants (pas de la faute de l’organisme ni du formatteur)
Les + : sujet intéressant avec un TP tout au long de la formation qui permet de comprendre de bout en bout AIRFLOW
En synthèse : Marc est à l’écoute et connait très bien son sujet, il prend du temps pour répondre à chacun.
Les + : formateur très bienveillant, bonne équipe, très clair, mais très technique !!
En synthèse : merci à Marc pour sa patience, sa tolérance, son empathie et ses explications très claires !!
Les + : les TP
Les + : Très pratique
Accessible
Adaptée
Les – : Je n’ai pas de point particulier à mentionner.
En synthèse : Je suis très satisfait de la formation.
Les + : Accessible même si on n’a pas un profil développeur. Le formateur a une très bonne pédagogie.
Je souhaite suivre : à voir selon le catalogue proposé
En synthèse : Je recommande vraiment
Une vue complète d’Airflow.
Un formateur expert.
La vue complète de l’outil est aussi un point faible, car certaines personnes ne sont pas sensibles à tous les points.
Comme évoqué à Raphaël, proposer 2 formations supplémentaires serait utile : orientée infra et déploiement de l’outil ; orientée création/gestion des DAG.
Pour le moment, je ne sais pas.
Je sors de la formation avec un avis positif et je me suis déjà mis en situation sur la mise en place d’Airflow dans ma mission.
Aisance du formateur et individualisation des problématiques
quelques complications techniques par moments, formation très large et pouvant manquer d’intérêt pour des personnes intéressées par des points précis
Connaissances complètes du formateur.
Balayage des fonctionnalités majeures d’Airflow
Petit groupe
La distance
Le jonglage entre diapo et partage d’écran
Je recommande la formation
Formateur / pédagogie / structure
Pas beaucoup de points faibles
Je ne les connais pas
Formateur compétent et à l’écoute et dispo.
Très bon cours.
Cours très interessant
Pas de support de cours
Ecran de très petite taille, gros problème de l’affichage. Ce qui complique les TPs.
RAS
Très satisfait de la formation
Je recommande la formation
absence de support de cours
La pratique était très utile
Flexibilité, jovialité du formateur
Equilibre théorie et pratique
Bonne prise en main du code pour un débutant que je suis 😉
Pas de support livré à la fin de la séance de formation ;-/
Bien insisté en majuscule, police 15, Gras dans la convocation afin que les apprenants puissent avoir accès à leur poste en administration afin de pouvoir installer AnyDesk, idéalement à J-7 le temps de demander l’accès au SI SFR
N/A
N/A
Les travaux pratiques.
Instabilité des VM
formateur très bien
pas adaptée pour des débutants qui ont besoin juste de connaitre les grandes lignes.
une formation spécifique sfr sera bien
ne pas mélanger des débutants avec des confirmés(même remarque que pour la formation elastic stack)
Beaucoup de pratique sur Airflow, très bon niveau du formateur
Complexité de mise en oeuvre de l’environnement : L’installation de Airflow me semble être légèrement hors sujet
Rythme, les quiz tout au long de la formation pour réviser/assimiler, l’équilibre entre théorie et pratique.
Mise à disposition des environnements VM approximatif.
Très bon formateur
Bonne decouverte du produit avec un réel engagement du formateur
Formation très dense
Bonne vue d ensemble
Rythme un peu lent. Niveau des participants trop hétérogène
de l’installation d’u container apache airflow au développement du DAG
délai un peu compressé
syntaxe des commandes un peu strict pour non habitué
ne sais pas
Bravo au formateur pour sa patience et son aide aux corrections
l’animateur super, il a su s’adapter à des niveaux techniques différents, la formation était très complète , interactive, dense mais on a pu faire des quizz , des exemples pertinents , des exercices ..;très complet
le formateur n’avait pas la main sur les VM mais avec le travail en équipe on s’en est sorti avec le partage d’écran;
pour le moment ca a été
formateur très compétent, très sympa , à l’écoute et formation très intéressante malgré le fait que c’est assez technique , c’ét
formateur
trop court
cours varié avec des cas pratiques
à distance c’est moins facile pour les installations
je ne sais pas
Je recommande la formation
L’animateur compétent et à l’écoute.
Les machine mises à disposition.
Le format en réunion à distance avec pas mal de perte de temps.
Beaucoup de pratique
Trops de différences techniques entre les participants
Je recommande la formation
Je recommande la formation
Le formateur
Merci
Je recommande la formation
Noter la formation
1990€ HT / personne |
3 jours (21 heures) |