Formation Apache Airflow

Programme de notre Formation Apache Airflow

 Introduction

• Les objectifs
• Organisation de la formation
• Qui suis-je ?
• Présentation de l’environnement de développement (installation des outils)

Découverte de Apache Airflow

• Pourquoi l’utiliser et pour quels besoins
• Les concurrents de Airflow
• L’architecture de Airflow
• Comprendre le fonctionnement de Airflow et comment les workflows sont planifiés
• [Pratique] Installer Airflow
• [Pratique] Découverte de l’interface utilisateur
• [Pratique] Découverte de la CLI et HTTP REST API
• Quiz

 Coder son premier Workflow avec Airflow

• Définir ce qu’est un DAG (Directed Acyclic Graph)
• [Pratique] Coder notre premier DAG
• Les différent type d’operators
• [Pratique] Ajout des trois principaux opérateurs dans notre DAG
• Les dépendances entre opérateurs et la bitshift composition
• [Pratique] Définition de l’ordre d’exécution des tâches dans notre DAG
• Comment le planificateur de Airflow fonctionne précisément ?
• Définition d’un Workflow
• Quiz

Exécuteurs et leurs backend

• Les différents exécuteurs et backend
• Leurs avantages et faiblesses
• [Pratique] Configurer un LocalExcutor et run un DAG
• [Pratique] Configurer un CeleryExecutor et run un DAG
• Quiz

Les concepts dynamiques de Airflow

• Minimiser les patterns répétitifs d’un DAG avec les SubDags
• [Pratique] Simplifier un DAG avec les SubDags
• Les XCOMS
• [Pratique] Échanger des données en utilisant les XCOMS
• Comment exécuter différentes tâches en fonction de critères dynamiques
• [Pratique] Créer nos premières tâches conditionnelles
• Contrôler les tâches contenu dans un DAG avec les SLAs
• [Pratique] Définition des SLAs pour nos tâches
• Les airflow variables
• [Pratique] utiliser les variables depuis notre DAG
• Les airflow connections
• [Pratique] utiliser les connections depuis notre DAG
• Jinja Templating, Macros et Variables
• [Pratique] Ajouter des données au run time avec les Macros et les templates
• Les Pools
• Quiz

Les Airflow providers pour interagir avec le reste du monde

• Les providers existant et leur installation
• Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu
• Personnaliser un opérateur existant
• [Pratique] Installer un provider et en personnaliser un opérateur
• Quiz

Administrer Airflow: Sécurité, RBAC, Metriques et Logging

• Sécuriser Airflow
• La création d’utilisateurs et l’authentification
• [Pratique] Revue des différents moyens d’authentification
• Découverte du RBAC (Role-based Access Control)
• [Pratique] Création de différents utilisateurs et rôles
• Découverte du système de log et sa configuration
• [Pratique] Configuration des logs
• Monitorer Airflow et metrics à surveiller
• [Pratique] Monitoring de Airflow avec dashboard Grafana
• Quiz

MODULE COMPLÉMENTAIRE (+1 JOUR) : APACHE AIRFLOW AVANCÉ

Création d’un plugin Airflow pour intéragir avec ELASTICSEARCH et POSTGRESQL

• Ajouter des fonctionnalités dans Apache Airflow
• [Pratique] Créer un Hook pour interagir avec Elasticsearch
• [Pratique] Créer un TransferOperator pour transférer des données depuis PostgreSQL vers ElasticSearch
• [Pratique] Ajouter une vue à l’interface utilisateur de Airflow
• Quiz

Administration de Airflow Avancé

• [Pratique] Utilisation de librairie Crypto pour sécuriser Airflow
• [Pratique] Utilisation de InfluxDB et Telegraph pour le monitoring the Airflow
• Quiz