Formation Apache Airflow
| 1990€ HT / personne |
| 3 jours (21 heures) |
Présentation
Notre formation Apache Airflow vous permettra de superviser, monitorer et planifier des centaines de pipelines. Ecrit en Python, Airflow est une alternative aux outils de workflow utilisant des langages descriptif ( XML , JSON , YAML … ) difficile à lire et à écrire.
À la fin de cette formation, vous pourrez rendre vos workflows dynamiques, automatisés et scalables. Vous apprendrez également à créer vos propres plug-ins, opérateurs et exécuteurs afin de coller au mieux à votre architecture big data.
Vous découvrirez les différents concepts qui composent Airflow, qu’est-ce qu’un DAG, une tâche, un exécuteur, un opérateur, etc. Nous ferons un tour de l’interface utilisateur ainsi que de l’interface en ligne de commande afin de très rapidement développer notre premier workflow interagissant avec différents systèmes de données.
De plus, vous apprendrez également les concepts avancés. Nous verrons avec de la mise en pratique et à travers de multiples exemples : comment rendre Airflow scalable à travers l’utilisation de différents Executors. Un programme qui vous permettra d’orchestrer vos pipelines de données de manière simple et robuste.
Comme dans toutes nos formations, nous utiliserons la dernière version stable des logiciels Apache Airflow 2.9.
Objectifs
- Découvrir les fonctionnalités d’Apache Airflow
- Savoir concevoir, planifier et monitorer ses workflows
- Connaître le fonctionnement interne de Airflow
- Savoir comment scaler Airflow afin de gérer un nombre conséquent de pipelines
- Connaître les best practices et limitations de Airflow
Public visé
- Ingénieur Big data
- Développeur
- Tech Lead
- Architecte Technique
Pré-requis
Connaissance en langage Python.
Pré-requis logiciel
- La dernière version de Docker installée
- La dernière version de Docker Compose installée
- La dernière version de Python installée
- La dernière version d’Airflow installée
- Minimum 8GO de RAM et un SSD
Recommandations de lecture avant et après la formation
- Un article informatif et bien structuré pour comprendre les principaux concepts
- Un tutoriel pour automatiser vos pipelines de données, idéal pour renforcer votre productivité !
- Découvrez comment Airflow a permis à Uber de scaler la gestion de ses workflows
- 5 minutes de lecture pour comprendre les tests sur Apache Airflow
- Un article génial pour utiliser Airflow de la bonne manière et éviter les erreurs les plus fréquentes
Programme de notre Formation Apache Airflow
Introduction
- Les objectifs
- Organisation de la formation
- Qui suis-je ?
- Présentation de l’environnement de développement (installation des outils)
Découverte de Apache Airflow
- Pourquoi l’utiliser et pour quels besoins
- Les concurrents de Airflow
- L’architecture de Airflow
- Comprendre le fonctionnement de Airflow et comment les workflows sont planifiés
- [Pratique] Installer Airflow
- [Pratique] Découverte de l’interface utilisateur
- [Pratique] Découverte de la CLI et HTTP REST API
- Quiz
Coder son premier Workflow avec Airflow
- Définir ce qu’est un DAG (Directed Acyclic Graph)
- [Pratique] Coder notre premier DAG
- Les différent type d’operators
- [Pratique] Ajout des trois principaux opérateurs dans notre DAG
- Les dépendances entre opérateurs et la bitshift composition
- [Pratique] Définition de l’ordre d’exécution des tâches dans notre DAG
- Comment le planificateur de Airflow fonctionne précisément ?
- Définition d’un Workflow
- Quiz
Exécuteurs et leurs backend
- Les différents exécuteurs et backend
- Leurs avantages et faiblesses
- [Pratique] Configurer un LocalExcutor et run un DAG
- [Pratique] Configurer un CeleryExecutor et run un DAG
- Quiz
Les concepts dynamiques de Airflow
- Minimiser les patterns répétitifs d’un DAG avec les SubDags
- [Pratique] Simplifier un DAG avec les SubDags
- Les XCOMS
- [Pratique] Échanger des données en utilisant les XCOMS
- Comment exécuter différentes tâches en fonction de critères dynamiques
- [Pratique] Créer nos premières tâches conditionnelles
- Contrôler les tâches contenu dans un DAG avec les SLAs
- [Pratique] Définition des SLAs pour nos tâches
- Les airflow variables
- [Pratique] utiliser les variables depuis notre DAG
- Les airflow connections
- [Pratique] utiliser les connections depuis notre DAG
- Jinja Templating, Macros et Variables
- [Pratique] Ajouter des données au run time avec les Macros et les templates
- Les Pools
- Quiz
Les Airflow providers pour interagir avec le reste du monde
- Les providers existant et leur installation
- Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu
- Personnaliser un opérateur existant
- [Pratique] Installer un provider et en personnaliser un opérateur
- Quiz
Administrer Airflow: Sécurité, RBAC, Metriques et Logging
- Sécuriser Airflow
- La création d’utilisateurs et l’authentification
- [Pratique] Revue des différents moyens d’authentification
- Découverte du RBAC (Role-based Access Control)
- [Pratique] Création de différents utilisateurs et rôles
- Découverte du système de log et sa configuration
- [Pratique] Configuration des logs
- [Pratique] Monitorer Airflow et metrics à surveiller
- Quiz
MODULE COMPLÉMENTAIRE (+1 JOUR) : APACHE AIRFLOW AVANCÉ
Création d’un plugin Airflow pour intéragir avec ELASTICSEARCH et POSTGRESQL
- Ajouter des fonctionnalités dans Apache Airflow
- [Pratique] Créer un Hook pour interagir avec Elasticsearch
- [Pratique] Créer un TransferOperator pour transférer des données depuis PostgreSQL vers ElasticSearch
- [Pratique] Ajouter une vue à l’interface utilisateur de Airflow
- Quiz
Administration de Airflow Avancé
- [Pratique] Utilisation de librairie Crypto pour sécuriser Airflow
- [Pratique] Utilisation de InfluxDB et Telegraph pour le monitoring the Airflow
- Quiz
Pour aller plus loin
Formation Intelligence Artificielle
Formation TensorFlow
Formation Kafka
Autour du sujet
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Marc
Passionné et enthousiaste, j’ai à cœur de partager mes connaissances au plus grand nombre et d’échanger sur des technologies plus ou moins connues qui nous rassemblent.
Je suis très axé sur la pratique et je suis persuadé que c’est le meilleur moyen d’apprendre et d’acquérir de nouvelles connaissances.
Témoignages
Les + : Variété des sujets, bon rythme
Les – : Peut etre avoir des exemples concrets professionnels et pratiques d’utilisation de Airflow : bonnes pratiques, mauvaises pratiques
Afficher tous les témoignages
Les + : Variété des sujets, bon rythme
Les – : Peut etre avoir des exemples concrets professionnels et pratiques d’utilisation de Airflow : bonnes pratiques, mauvaises pratiques
Les + : permet de bien situer les possibilités de Airflow a travers de nombreux exemples accessibles
Les + : Interactivité
Clarté
En synthèse : Très content de cette formation qui a répondue entièrement à mes attentes.
Les + : Beaucoup de cas pratiques étudiés.
Bon équilibre entre théorie et pratique.
Les – : Approfondir un peu plus l’écosystème autour de Apache Airflow.
Je souhaite suivre : En étude avec mon manager Xavier Scherpereel.
En synthèse : Objectif personnel atteint en terme de découverte des fonctionnalités de l’outil.
Les + : vision globale, équilibre théorique pratique, petite équipe, doc pas lourdes
Les – : petites coquilles
Les + : Contenu très riche.
Formateur très à l’écoute et engagé.
Cadre très sympathique.
Le repas inclus.
Les – : Un petit focus rapide sur l’installation de Airflow sans docker serait bienvenue même ce n’est pas la bonne pratique.
Certaines parties côté pratique qui n’ont pas très bien fonctionné dès le début mais l’animateur a su rebondir rapidement.
Je souhaite suivre : Peut-être une formation Elastic Search mais en tous cas je garde en tête Ambient IT car très satisfait de la formation et du séjour.
Les + : Formation très transversale, avec beaucoup de pratique et de discussions sur des cas d’usage. Discussions et pratique sur des technologies connexes à airflow. Échanges riches entre les participants.
En synthèse : Il aurait été appréciable d’avoir des fruits en plus des gâteaux disponibles pour les pauses.
Je recommande la formation
Je recommande la formation
Les + : Ecriture des dags
Les – : Augmenter les explication coté infra
Je souhaite suivre : OUI
En synthèse : C’est bon dans l’ensemble …
Les – : niveau hétérogène des participants
Je recommande la formation
Noter la formation
| 1990€ HT / personne |
| 3 jours (21 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
