Sélectionner une page
Formations Data Data Engineer Formation Apache Airflow avancé

Formation Apache Airflow avancé

Rated 0,0 out of 5
formation airflow avance
Prix 890€ HT / personne
Durée 1 jour (7 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

Présentation

Notre formation Apache Airflow avancé vous permettra de maîtriser l’un des outils leader du MLOps. Ainsi, vous pourrez gérer efficacement vos workflows data.

Notre cours débutera en mettant l’emphase sur la génération dynamique de DAGs et ses actions associées. Vous apprendrez les fondamentaux du scheduling et les techniques avancées de templating avec Jinja.

Nous poursuivrons avec l’apprentissage des opérateurs personnalisés, la manipulation des hooks et l’intégration des APIs. Les divers opérateurs tels PythonVirtualenvOperator ou KubernetesPodOperator n’auront plus de secret pour vous.

Enfin, nous terminerons par la présentation d’études de cas, du ModelOps ainsi que les bonnes pratiques à connaître.

Comme pour toutes nos formations, nous vous enseignerons la dernière version stableApache Airflow 2.8.

 

Objectifs

  • Créer des DAGs dynamiques en utilisant des configurations externes
  • Personnaliser les opérateurs et les capteurs pour des besoins spécifiques
  • Intégrer des tâches avec des environnements externes tels que PythonVirtualenv, Docker, et Kubernetes
  • Appliquer les meilleures pratiques en ModelOps et en gestion des ressources pour l’ingénierie des données
  • Comprendre les limitations d’Airflow

 

Public visé

  • Ingénieur Big data
  • Développeur
  • Tech Lead
  • Architecte Technique
  • Data engineer
  • MLOps
  • Data Scientist

 

Pré-requis

  • Connaissance du langage Python
  • 2 ans d’expérience minimum en data science
  • Compétences de base sur Airflow
  • De préférence, avoir suivi notre formation Airflow

 

Pré-requis logiciel

  • La dernière version de Docker installée
  • La dernière version de Docker Compose installée
  • La dernière version de Python installée
  • La dernière version d’Airflow installée
  • Minimum 8GO de RAM et un SSD

Programme de notre formation Apache Airflow avancé

 

Modèles avancés de DAG

  • Génération dynamique de DAG
    • Groupes de tâches
    • Déclenchement de l’exécution du DAG
    • Mappage dynamique des tâches
    • Opérateur différé
    • Installation
  • Pourquoi ne pas utiliser les SubDAGs ?
  • Datasets et data aware scheduling
    • Rappel sur le scheduling classique et les timetables
  • Templating avancé avec Jinja
  • Générer des DAGs dynamiquement basés sur des configurations externes
  • Pratique :
    • Les groupes de tâches
    • Le déclenchement de l’exécution du DAG
    • Le mappage dynamique des tâches
    • Les opérateurs différés pour organiser des flux de travail complexes

 

Opérateurs personnalisés

  • Rappel sur les opérateurs Airflow disponibles
  • Création d’opérateurs et de capteurs personnalisés
  • Création de hooks pour des systèmes externes
  • Créer un opérateur personnalisé pour interagir avec une API
  • Créer un capteur qui attend une condition spécifique

 

Intégration avec des environnements externes

  • ExternalPythonOperator
  • PythonVirtualenvOperator
  • DockerOperator
  • KubernetesPodOperator
  • Implémenter une tâche en utilisant le PythonVirtualenvOperator

 

Cas pratiques, meilleures pratiques et limitations

  • ModelOps
  • Allocation dynamique des ressources
  • Workflow de l’ingénierie des données
  • Meilleures pratiques
    • Idempotence
    • Évitez le code de haut niveau
    • Décidez où exécuter les tâches de traitement des données
    • Ne pas passer de grandes quantités de données à travers Xcom
  • Les limites
  • Ressources pour améliorer ses connaissances

Pour aller plus loin

Formation Tensorflow

Formation Azure Machine Learning

Formation Vertex AI

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Témoignages

⭐⭐⭐⭐⭐ 4,8/5 sur Google My Business. Vous aussi, partagez votre expérience !

Afficher tous les témoignages

⭐⭐⭐⭐⭐ 4,8/5 sur Google My Business. Vous aussi, partagez votre expérience !

Noter la formation

Prix 890€ HT / personne
Durée 1 jour (7 heures)

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp