Formation DBT Analytics Engineering

Programme de notre formation dbt Analytics Engineering

[Jour 1 – Matin]

Comprendre dbt et le Modern Data Stack

• Comprendre le rôle de dbt dans le Modern Data Stack
• Différencier les approches ETL, ELT et Analytics Engineering
• Identifier les cas d’usage de dbt pour fiabiliser les transformations SQL
• Comprendre l’architecture médaillon : bronze, silver, gold
• Découvrir le lab fil rouge : E-commerce Analytics Platform
• Atelier pratique : Démarrer un projet dbt from scratch et connecter le data warehouse.

[Jour 1 – Après-midi]

Sources, staging et couche bronze

• Déclarer les sources : commandes, clients, produits et événements web
• Organiser la structure d’un projet dbt : models, seeds, snapshots et macros
• Créer des modèles de staging normalisés
• Mettre en place la couche bronze avec des vues stg_miroir
• Appliquer des conventions de nommage et de structuration SQL
• Atelier pratique : Construire les modèles staging et bronze du projet e-commerce.

Modèles silver, gold et matérialisations

• Construire la couche silver : clients enrichis, commandes nettoyées et sessions
• Développer la couche gold : mart_revenue, mart_customers_ltv et mart_product_perf
• Choisir les bonnes matérialisations : vues, tables, éphémères et incrémentales
• Gérer les dépendances entre modèles avec ref()
• Optimiser les modèles pour la lisibilité, la performance et la maintenabilité
• Atelier pratique : Implémenter les modèles silver et gold de la plateforme e-commerce.

[Jour 2 – Matin]

Tests, seeds, snapshots et documentation

• Mettre en place des seeds pour les pays et catégories de produits
• Créer un snapshot pour historiser les statuts de commandes
• Ajouter des tests dbt : unicité, non-nullité, relations et valeurs acceptées
• Mettre en place une couverture complète de tests sur la gold layer
• Générer la documentation dbt et visualiser le lignage des modèles
• Atelier pratique : Ajouter seeds, snapshots, tests et documentation au projet dbt.

[Jour 2 – Après-midi]

CI/CD avec GitHub Actions

• Préparer le projet dbt pour l’industrialisation
• Structurer les environnements de développement, validation et production
• Versionner le projet avec Git et organiser les branches
• Mettre en place une pipeline CI/CD avec GitHub Actions
• Automatiser les commandes dbt build, dbt test et dbt docs
• Atelier pratique : Créer une pipeline GitHub Actions pour valider le projet dbt.

Orchestration Prefect et mise en production

• Comprendre le rôle de Prefect dans l’orchestration des workflows data
• Orchestrer l’exécution des modèles dbt avec des flows Prefect
• Planifier les runs et gérer les dépendances de production
• Superviser les exécutions, erreurs et logs de pipeline
• Fiabiliser la mise en production d’un projet dbt de bout en bout
• Atelier pratique : Orchestrer le projet dbt avec Prefect et simuler une mise en production.