Formation dbt : Le workflow d’Airflow
| 1790€ HT / personne |
| 2 jours (14 heures) |
Présentation
Depuis quelques années, dbt (data build tool) est devenu un outil incontournable dans les architectures data modernes. Gratuit, open source et pensé pour le cloud, il permet aux équipes analytiques de s’inspirer des pratiques de l’ingénierie logicielle afin de rapidement déployer des pipelines de données.
Durant ce cours, vous mettrez en place un environnement de développement spécifique à dbt, ce qui vous permettra de développer et de tester vos premiers modèles.
Vous verrez également comment dbt s’intègre dans les architectures data actuelles, et quelles sont les problématiques auxquelles cet outil peut répondre.
À la suite de cette formation, vous saurez tout des fonctionnalités principales de dbt ainsi que des différentes manières de l’utiliser en production, notamment en utilisant Airflow et Kubernetes. Comme toutes nos formations, celle-ci vous présentera la dernière version en date et ses nouveautés : dbt Core v1.10.
Objectifs
- Comprendre dbt et son rôle dans le Modern Data Stack
- Démarrer un projet dbt from scratch
- Maîtriser dbt de bout en bout
- Industrialiser et mettre en production un projet dbt
Public visé
- Data Scientists
- Data Analysts
- Chefs de projet
- Ingénieurs de données
- Business Analysts
PRÉ-REQUIS
- Connaissance des pipelines de données
- Savoir utiliser Docker
- Connaissance de python
PRÉ-REQUIS techniques
- Avoir un compte Gmail
- Avoir un compte Github (lié au compte Gmail)
- Un compte gratuit sur MotherDuck pour les TP
- Python 3 et Git installés
- Docker et Docker Compose installés
- Un logiciel d’édition de code (ex : Visual Studio ou PyCharm)
Programme de notre formation dbt
[Jour 1 – Matin]
Qu’est-ce que dbt ?
- Introduction à dbt : définition et différences entre dbt-core et dbt-cloud
- Rôle de dbt dans nos projets data (ETL vs ELT)
- Comprendre l’architecture « médaillon »
- Organiser et structurer un projet dbt
- Atelier Pratique
- Présenter le projet fil rouge
- Configurer l’environnement dbt et création de la datawarehouse
- Mettre en place la structure du projet (dossier et fichiers de configuration)
[Jour 1 – Après-midi]
Structurer un projet dbt
- Comprendre les modèles et les sources dans dbt
- Explorer les types de matérialisation (vue, table, modèle éphémère, modèle incrémental, etc.)
- Comprendre les macros et leur utilité
- Explorer les hooks et leurs cas d’usage
- Atelier Pratique :
- Implémenter les couches bronze, silver et gold
- Lancer dbt et valider les résultats obtenus
- Enrichir les modèles à l’aide de seeds
- Optimiser les modèles en choisissant la matérialisation la plus adaptée
- Mettre en œuvre des macros et des hooks dans le projet
[Jour 2 – Matin]
Notions avancées de dbt
- Découvrir les différents types de snapshots
- Identifier les différents types de tests disponibles
- Utiliser la documentation intégrée et visualiser le lignage des modèles
- Utiliser les packages classiques de dbt (dbt_utils, codegen, re_data)
- Atelier Pratique :
- Mettre en œuvre des snapshots dans le projet
- Ajouter et exécuter des tests
- Générer et consulter la documentation dbt
- Installer les packages dbt et les utiliser
[Jour 2 – Après-midi]
dbt en production
- Comprendre la CI/CD et découvrir les principales solutions du marché
- Présentation d’Airflow et de son positionnement dans l’écosystème data
- Architecture d’Airflow : services clés et opérateurs
- Atelier Pratique :
- Intégrer une CI/CD avec GitHub Actions
- Installer Airflow via Docker
- Créer un DAG pour exécuter un projet dbt
Pour aller plus loin
Formation Power BI
Formation Apache Airflow
Formation Qlik Sense
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Le(s) Formateur(s)
Flavien
Arnaud
Témoignages
Les + : – Pédagogie et écoute de la formatrice
– Bonne image d’ensemble de la solution dbt
– Beaucoup de contenu pratique
Les – : – On manque un peu de temps pour approfondir la théorie, notamment la partie Airflow que j’attendais + développer et expérimenter
– Niveau parfois un peu hétérogènes des connaissances des participants, mais c’est difficile à gérer je comprends
En synthèse : Merci à Rahma !
Afficher tous les témoignages
Les + : – Pédagogie et écoute de la formatrice
– Bonne image d’ensemble de la solution dbt
– Beaucoup de contenu pratique
Les – : – On manque un peu de temps pour approfondir la théorie, notamment la partie Airflow que j’attendais + développer et expérimenter
– Niveau parfois un peu hétérogènes des connaissances des participants, mais c’est difficile à gérer je comprends
En synthèse : Merci à Rahma !
Les + : -présentation claire et précise avec exemple et tp
Les – : -manque de temps pour la partie DAG et airFlow
Je souhaite suivre : aiflow
Les + : L’alternance théorie pratique
Les – : 1/ Les copier-coller depuis le pdf de TP supprimaient l’indentation des yaml. Devoir refaire toute l’indentation fait qu’on n’est plus concentré sur l’essentiel et est souvent source d’erreur.
2/ Dans le mail de rappel des prérequis d’installation Docker n’était pas présent
Les + : Formateur à l’écoute et capable de répondre à des questions qui s’éloignent de la théorie présentée. Bon aperçu global des bases de DBT
Les – : J’aurais aimé aller plus en profondeur sur certains sujets comme l’orchestration par exemple mais j’ai conscience que 2 jours ne suffisent pas pour aborder tous les sujets.
Les + : Le formateur !
Je recommande la formation
Les + : Arnaud est disponible et compétent
Les – : Je pense qu’il faudrait revoir la formation afin qu’elle soi plus guidée : un petit exo après chaque nouveau point serait le bienvenu. j’ai trouvé que nous avions vu un peu de théorie ensuite on pratiquait directement en autonomie.
Je recommande la formation
Les + : Les réponses aux questions orientées fortement sur des problématiques rencontrées chez nos clients.
Je recommande la formation
Je souhaite suivre : Airflow
Kubernetes
En synthèse : Outil intéressant
Explications claires
Je recommande la formation
Noter la formation
| 1790€ HT / personne |
| 2 jours (14 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
