Formation Apache Airflow avancé
| 890€ HT / personne |
| 1 jour (7 heures) |
Présentation
Notre formation Apache Airflow avancé vous permettra de maîtriser l’un des outils leader du MLOps. Ainsi, vous pourrez gérer efficacement vos workflows data.
Notre cours débutera en mettant l’emphase sur la génération dynamique de DAGs et ses actions associées. Vous apprendrez les fondamentaux du scheduling et les techniques avancées de templating avec Jinja.
Nous poursuivrons avec l’apprentissage des opérateurs personnalisés, la manipulation des hooks et l’intégration des APIs. Les divers opérateurs tels PythonVirtualenvOperator ou KubernetesPodOperator n’auront plus de secret pour vous.
Enfin, nous terminerons par la présentation d’études de cas, du ModelOps ainsi que les bonnes pratiques à connaître.
Comme pour toutes nos formations, nous vous enseignerons la dernière version stable : Apache Airflow 2.8.
Objectifs
- Créer des DAGs dynamiques en utilisant des configurations externes
- Personnaliser les opérateurs et les capteurs pour des besoins spécifiques
- Intégrer des tâches avec des environnements externes tels que PythonVirtualenv, Docker, et Kubernetes
- Appliquer les meilleures pratiques en ModelOps et en gestion des ressources pour l’ingénierie des données
- Comprendre les limitations d’Airflow
Public visé
- Ingénieur Big data
- Développeur
- Tech Lead
- Architecte Technique
- Data engineer
- MLOps
- Data Scientist
Pré-requis
- Connaissance du langage Python
- 2 ans d’expérience minimum en data science
- Compétences de base sur Airflow
- De préférence, avoir suivi notre formation Airflow
Pré-requis logiciel
- La dernière version de Docker installée
- La dernière version de Docker Compose installée
- La dernière version de Python installée
- La dernière version d’Airflow installée
- Minimum 8GO de RAM et un SSD
Programme de notre formation Apache Airflow avancé
Modèles avancés de DAG
- Génération dynamique de DAG
- Groupes de tâches
- Déclenchement de l’exécution du DAG
- Mappage dynamique des tâches
- Opérateur différé
- Installation
- Pourquoi ne pas utiliser les SubDAGs ?
- Datasets et data aware scheduling
- Rappel sur le scheduling classique et les timetables
- Templating avancé avec Jinja
- Générer des DAGs dynamiquement basés sur des configurations externes
- Pratique :
- Les groupes de tâches
- Le déclenchement de l’exécution du DAG
- Le mappage dynamique des tâches
- Les opérateurs différés pour organiser des flux de travail complexes
Opérateurs personnalisés
- Rappel sur les opérateurs Airflow disponibles
- Création d’opérateurs et de capteurs personnalisés
- Création de hooks pour des systèmes externes
- Créer un opérateur personnalisé pour interagir avec une API
- Créer un capteur qui attend une condition spécifique
Intégration avec des environnements externes
- ExternalPythonOperator
- PythonVirtualenvOperator
- DockerOperator
- KubernetesPodOperator
- Implémenter une tâche en utilisant le PythonVirtualenvOperator
Cas pratiques, meilleures pratiques et limitations
- ModelOps
- Allocation dynamique des ressources
- Workflow de l’ingénierie des données
- Meilleures pratiques
- Idempotence
- Évitez le code de haut niveau
- Décidez où exécuter les tâches de traitement des données
- Ne pas passer de grandes quantités de données à travers Xcom
- Les limites
- Ressources pour améliorer ses connaissances
Pour aller plus loin
Formation Tensorflow
Formation Azure Machine Learning
Formation Vertex AI
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Témoignages
⭐⭐⭐⭐⭐ 4,8/5 sur Google My Business. Vous aussi, partagez votre expérience !
Afficher tous les témoignages
⭐⭐⭐⭐⭐ 4,8/5 sur Google My Business. Vous aussi, partagez votre expérience !
Noter la formation
| 890€ HT / personne |
| 1 jour (7 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
