Formation Mage AI : Orchestration de données assistée par l’IA

Programme de notre formation Mage AI : Orchestration de données assistée par l’IA

[Jour 1 – Matin]

Fondations et Architecture “Block-based”

• Mage AI vs Airflow/Dagster
• Installation et Configuration : Docker, Terraform et déploiement hybride
• Concepts fondamentaux : Data Loaders, Transformers, et Data Exporters
• Naviguer efficacement entre le No-code et le code Python/SQL pur
• Atelier pratique : Installation de l’environnement et création d’un premier pipeline d’ingestion depuis une API.

[Jour 1 – Après-midi]

Développement de Pipelines Complexes

• Créer des blocs personnalisés et des modèles réutilisables
• Construction de DAGs (Directed Acyclic Graphs) visuels complexes
• Passage de paramètres dynamiques et gestion des secrets
• Mixer SQL et Python au sein d’un même flux de données
• Atelier pratique : Construction d’un pipeline de transformation multi-étapes avec jointures et agrégations.

[Jour 2 – Matin]

Data Quality, dbt et IA Générative

• Utiliser le copilote intégré pour générer du code, des tests et la documentation
• Intégration dbt native : Orchestrer et visualiser ses modèles dbt au sein de Mage
• Data Validation : Implémenter des tests unitaires et des contrôles de qualité à chaque étape
• Observabilité des données : Profiling automatique des datasets en sortie de bloc
• Atelier pratique : Intégration d’un projet d’analyse avec dbt et documentation automatique par l’IA.

[Jour 2 – Après-midi]

Déploiement, Monitoring et DataOps

• Triggers et Scheduling : Planification temporelle, événementielle et via Webhooks
• Monitoring de santé des pipelines et notifications (Slack/Email)
• Workflow Git, déploiement sur Kubernetes et services Cloud
• Gestion des permissions et sécurité des flux
• Atelier pratique : Mise en production d’un pipeline avec configuration d’un monitoring actif et test d’alerting.