Sélectionner une page
Formations Logiciel No Code Formation Apache Airflow

Formation Apache Airflow

Rated 4.5 out of 5
Logo Formation Airflow
Prix 1990€ HT / personne
Durée 3 jours (21 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

Présentation

Notre formation Apache Airflow vous permettra de superviser, monitorer et planifier des centaines de pipelines. Ecrit en Python, Airflow est une alternative aux outils de workflow as click-click ou utilisant des langages descriptif ( XML , JSON , YAML … ) difficile à lire et à écrire.

À la fin de cette formation, vous pourrez rendre vos workflows dynamiques, automatisés et scalables. Vous apprendrez également à créer vos propres plug-ins, opérateurs et exécuteurs afin de coller au mieux à votre architecture big data.

Vous découvrirez les différents concepts qui composent Airflow, qu’est-ce qu’un DAG, une tâche, un exécuteur, un opérateur, etc. Nous ferons un tour de l’interface utilisateur ainsi que de l’interface en ligne de commande afin de très rapidement développer notre premier workflow interagissant avec différents systèmes de données.

De plus, vous apprendrez également les concepts avancés. Nous verrons avec de la mise en pratique et à travers de multiples exemples : comment rendre Airflow scalable à travers l’utilisation de différents Executors. Un programme qui vous permettra d’orchestrer vos pipelines de données de manière simple et robuste.

Comme dans toutes nos formations, nous utiliserons la dernière version stable des logiciels Apache Airflow 2.7.

 

Objectifs

  • Découvrir les fonctionnalités d’Apache Airflow
  • Savoir concevoir, planifier et monitorer ses workflows
  • Connaître le fonctionnement interne de Airflow
  • Savoir comment scaler Airflow afin de gérer un nombre conséquent de pipelines
  • Connaître les best practices et limitations de Airflow

 

Public visé

  • Ingénieur Big data
  • Développeur
  • Tech Lead
  • Architecte Technique

 

Pré-requis

Connaissance en langage Python.

 

Pré-requis logiciel

  • La dernière version de Docker installée
  • La dernière version de Docker Compose installée
  • La dernière version de Python installée
  • La dernière version d’Airflow installée
  • Minimum 8GO de RAM et un SSD

 

Recommandations de lecture avant et après la formation

Programme de notre Formation Apache Airflow

 

 Introduction

  • Les objectifs
  • Organisation de la formation
  • Qui suis-je ?
  • Présentation de l’environnement de développement (installation des outils)

 

Découverte de Apache Airflow

  • Pourquoi l’utiliser et pour quels besoins
  • Les concurrents de Airflow
  • L’architecture de Airflow
  • Comprendre le fonctionnement de Airflow et comment les workflows sont planifiés
  • [Pratique] Installer Airflow
  • [Pratique] Découverte de l’interface utilisateur
  • [Pratique] Découverte de la CLI et HTTP REST API
  • Quiz

 

 Coder son premier Workflow avec Airflow

  • Définir ce qu’est un DAG (Directed Acyclic Graph)
  • [Pratique] Coder notre premier DAG
  • Les différent type d’operators
  • [Pratique] Ajout des trois principaux opérateurs dans notre DAG
  • Les dépendances entre opérateurs et la bitshift composition
  • [Pratique] Définition de l’ordre d’exécution des tâches dans notre DAG
  • Comment le planificateur de Airflow fonctionne précisément ?
  • Définition d’un Workflow
  • Quiz

 

Exécuteurs et leurs backend

  • Les différents exécuteurs et backend
  • Leurs avantages et faiblesses
  • [Pratique] Configurer un LocalExcutor et run un DAG
  • [Pratique] Configurer un CeleryExecutor et run un DAG
  • Quiz

 

Les concepts dynamiques de Airflow

  • Minimiser les patterns répétitifs d’un DAG avec les SubDags
  • [Pratique] Simplifier un DAG avec les SubDags
  • Les XCOMS
  • [Pratique] Échanger des données en utilisant les XCOMS
  • Comment exécuter différentes tâches en fonction de critères dynamiques
  • [Pratique] Créer nos premières tâches conditionnelles
  • Contrôler les tâches contenu dans un DAG avec les SLAs
  • [Pratique] Définition des SLAs pour nos tâches
  • Les airflow variables
  • [Pratique] utiliser les variables depuis notre DAG
  • Les airflow connections
  • [Pratique] utiliser les connections depuis notre DAG
  • Jinja Templating, Macros et Variables
  • [Pratique] Ajouter des données au run time avec les Macros et les templates
  • Les Pools
  • Quiz

 

Les Airflow providers pour interagir avec le reste du monde

  • Les providers existant et leur installation
  • Savoir choisir les opérateurs à utiliser en fonction des executors et du scaling voulu
  • Personnaliser un opérateur existant
  • [Pratique] Installer un provider et en personnaliser un opérateur
  • Quiz

 

Administrer Airflow: Sécurité, RBAC, Metriques et Logging

  • Sécuriser Airflow
  • La création d’utilisateurs et l’authentification
  • [Pratique] Revue des différents moyens d’authentification
  • Découverte du RBAC (Role-based Access Control)
  • [Pratique] Création de différents utilisateurs et rôles
  • Découverte du système de log et sa configuration
  • [Pratique] Configuration des logs
  • Monitorer Airflow et metrics à surveiller
  • [Pratique] Monitoring de Airflow avec dashboard Grafana
  • Quiz

 

MODULE COMPLÉMENTAIRE (+1 JOUR) : APACHE AIRFLOW AVANCÉ

 

Création d’un plugin Airflow pour intéragir avec ELASTICSEARCH et POSTGRESQL

  • Ajouter des fonctionnalités dans Apache Airflow
  • [Pratique] Créer un Hook pour interagir avec Elasticsearch
  • [Pratique] Créer un TransferOperator pour transférer des données depuis PostgreSQL vers ElasticSearch
  • [Pratique] Ajouter une vue à l’interface utilisateur de Airflow
  • Quiz

 

Administration de Airflow Avancé

  • [Pratique] Utilisation de librairie Crypto pour sécuriser Airflow
  • [Pratique] Utilisation de InfluxDB et Telegraph pour le monitoring the Airflow
  • Quiz

Pour aller plus loin

Formation Intelligence Artificielle

Formation TensorFlow

Formation Kafka

Autour du sujet

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Marc

Marc

Ingénieur Big Data dans la plus grande banque en ligne en France. Depuis plus de 3 ans, j’ai créé différents ETL afin de résoudre les problèmes quotidiens d’une banque.

Passionné et enthousiaste, j’ai à cœur de partager mes connaissances au plus grand nombre et d’échanger sur des technologies plus ou moins connues qui nous rassemblent.

Je suis très axé sur la pratique et je suis persuadé que c’est le meilleur moyen d’apprendre et d’acquérir de nouvelles connaissances.

Témoignages

Rated 5 out of 5
2 août 2023

Je recommande la formation

Mohammad A. de chez SFR

Afficher tous les témoignages

Rated 5 out of 5
2 août 2023

Je recommande la formation

Mohammad A. de chez SFR
Rated 4 out of 5
2 août 2023

Les + : Ecriture des dags

Les – : Augmenter les explication coté infra

Je souhaite suivre : OUI

En synthèse : C’est bon dans l’ensemble …

Amadou Samba D. de chez ATOS DIGITAL SECURITY
Rated 3 out of 5
2 août 2023

Les – : niveau hétérogène des participants

Mathias D. de chez SFR
Rated 5 out of 5
7 juin 2023

Je recommande la formation

Ali L. de chez Liveramp
Rated 5 out of 5
7 juin 2023

Je recommande la formation

Rindra R. de chez Liveramp
Rated 5 out of 5
7 juin 2023

Les + : Le formateur est extrêmement compétant, hyper agréable, toujours à l’heure et comprends exactement ce que nous avons besoin.

Les – : Pas de point particulier en points faible,

Je souhaite suivre : J’ai quelques idées :p

Richard F. de chez Liveramp
Rated 5 out of 5
7 juin 2023

Je recommande la formation

Robert P. de chez Liveramp
Rated 5 out of 5
7 juin 2023

Les + : Pédagogie, explication et expert dans son domaine

Walid B. de chez Liveramp
Rated 4 out of 5
24 mai 2023

Les + : Explications des méthodes de déploiements, explication des architecture possible avec Airflow et des meilleurs compromis, formation complete qui présente tous les aspects.

Les – : J’aurais souhaité plus de cas pratiques sur l’écriture, la conception et la mise en œuvre de DAGs

Pierre H. de chez EGIS SA
Rated 4 out of 5
24 mai 2023

Les + : Le contenu très riche, et l’équilibre entre pratique et théorique

Les – : très intense, un peu difficile pour des personnes ne maîtrisant pas les infrastructures informatique

Chaimaa K. de chez SFR
Rated 5 out of 5
24 mai 2023

Les + : Le formateur est très pédagogique et sa manière de dispenser est très intéressante

En synthèse : Je recommande fortement

Wilfried Ben Rachid T. de chez BULL SAS
Rated 5 out of 5
24 mai 2023

En synthèse : Le mélange présentiel avec distanciel se fait un peu au détriment des personnes présentes sur site qui ne peuvent pas disposer du projecteur pour voir la présentation et doivent switcher constamment entre la présentation et les outils de travail sur un seul écran.

Jean-Marc T. de chez SFR

Noter la formation

Prix 1990€ HT / personne
Durée 3 jours (21 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp