Sélectionner une page
Formations Data ETL Formation Dagster : Orchestration des pipelines de données dans le cloud

Formation Dagster : Orchestration des pipelines de données dans le cloud

Niveau confirmé
Catégorie Essential
Formation Dagster

Prix 2400€ HT / personne
3 jours (21 heures)

Paris | Classe Virtuelle

Dernières places Virtuelle uniquement
Labs : Infrastructure DaaS avec Chrome
Cafés et déjeuners offerts en interentreprises
En intra-entreprise pour former votre équipe
Aide au financement 2500€ Bonus Atlas CPF

Présentation

La formation Dagster, vous apprendra à utiliser cet orchestrateur de données. Vous saurez manier avec perfection ce cadre pour la création de pipelines de données et les expédier à une vitesse extraordinaire.

Durant cet apprentissage, votre équipe saura ingérer des données provenant de sources externes ou d’autres ressources de données. Vous pourrez également combiner et transformer les données de manière significative.

Dagster vous sera utile, car il dispose de trois points clés qui le rendent donc unique. Votre entreprise sera apte à développer localement et effectuer des tests automatisés. Vous pourrez notamment calculer la valeur d’un actif grâce à une fonction Python pure déclarative. Grâce à son découplage des canalisations de l’environnement, vous accèderez à un grand nombre de fonctionnalités.

Comme toutes nos formations, celle-ci vous présentera la dernière version en date et ses nouveautés : Dagster 1.1.

 

Objectifs

  • Savoir intégrer divers outils dans Dagster
  • Savoir où utiliser un actif stocké
  • Maîtriser l’ensemble des concepts
  • Comprendre l’architecture de déploiement et la mettre en place

 

Public visé

  • Data Scientists
  • Data Analysts
  • Ingénieurs d’analyse
  • Ingénieurs de données
  • Ingénieurs DevOps

 

Pré-Réquis

  • Connaissances générales sur les données
  • Connaissance du langage Python

Programme de notre formation Dagster

 

Introduction

  • Présentation de Dagster
  • Installation
  • Premier pas avec Dagster
  • Télémétrie

 

Création d’un nouveau projet

  • Utilisation du squelette de projet
  • Démarrage du serveur Web Today
  • Ajout de nouvelles dépendances Python
  • Test unitaire
  • Variables d’environnement et secrets

 

Actifs

  • Définir un actif
  • Construction de graphes de ressources
  • Définir des ressources sans valeurs de retour ou d’arguments
  • Test des actifs
  • Automatisation de la matérialisation des actifs
  • Partitionnement des actifs
  • Personnalisation du stockage des actifs
  • Travaux hors actifs

 

Concepts

  • Opérations
    • Crochets
    • Évènements
    • Tentatives
  • Graphiques
    • Dynamique
    • Emboîtement
  • Travaux
    • Métadonnées et balises
    • Exécution des travaux
  • Programmes
    • Capteurs
    • Cloisons
    • Lancement des remplissages
  • Lancement de l’interface utilisateur Dagit

 

Déploiement

  • Architecture de déploiement
  • Services de longue durée
  • Configuration
  • Flux d’exécution des tâches
  • Dagster Cloud

 

Intégrations

  • Utiliser Dagster avec Airflow
  • Spark
    • Exécution du code PySpark dans les opérations
    • Soumission d’opérations PySark sur EMR
  • Validation des DataFrames Pandas avec les types Pandas
  • Snowflake et Dagster
    • Utilisez Python pour analyser vos données stockées dans Snowflake sans requête SQL
    • Intégrez vos tables Snowflake à d’autres outils

Pour aller plus loin

Formation Apache Airflow

Formation Apache Nifi

Formation Alteryx

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Témoignages

3 décembre 2025

Les + : L’initiation à Dagster depuis les bases, permet de construire un projet from scratch.

Les – : Dbt vue en coup de vent, on à surtout vu l’intéraction entre dbt et dagster. Pour ma part, j’avais déjà pas mal pratiqué Dagster, j’en attendais plus coté DBT (concept, avantage, pratique).

En synthèse : Cela reste un avis très personnel, car j’avais déjà pratiqué dagster, mais c’était plus une formation Dagster et comment inégrer un projet dbt à Dagster, qu’une formation Dagster/DBT. Je m’attendais à en apprendre plus sur DBT, les bonnes pratiques, les avantages, les concepts. RAS sur le formateur, Hachem était très pro et sympathique.

Ludovic R. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)

Afficher tous les témoignages

3 décembre 2025

Les + : L’initiation à Dagster depuis les bases, permet de construire un projet from scratch.

Les – : Dbt vue en coup de vent, on à surtout vu l’intéraction entre dbt et dagster. Pour ma part, j’avais déjà pas mal pratiqué Dagster, j’en attendais plus coté DBT (concept, avantage, pratique).

En synthèse : Cela reste un avis très personnel, car j’avais déjà pratiqué dagster, mais c’était plus une formation Dagster et comment inégrer un projet dbt à Dagster, qu’une formation Dagster/DBT. Je m’attendais à en apprendre plus sur DBT, les bonnes pratiques, les avantages, les concepts. RAS sur le formateur, Hachem était très pro et sympathique.

Ludovic R. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)
3 décembre 2025

Je recommande la formation

Romain C. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)
3 décembre 2025

Je recommande la formation

Frederic C. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)
3 décembre 2025

Les + : La documentation

Les – : Des temps morts parfois trop importants

Stéphane D. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)
3 décembre 2025

Les + : attention sur le rythme de formation; c’était souvent les stagiaires qui définissaient le timing

Les – : modules très clairs mais exemples très “marketing” assez éloignés de nos problématiques

Antoine H. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)
3 décembre 2025

Les + : Je pense que cette formation permet une bonne première approche de dagster/dbt. Le code fourni est détaillé et commenté et permet d’avoir une bonne base pour commencer à travailler. Les concepts couverts sont assez complets. Formateur sympathique et prêt à chercher les réponses qu’il n’a pas.

Les – : Les objectifs pédagogiques répondent à une initiation mais sont limités pour des personnes qui ont déjà un minimum d’expérience (alors qu’un recueil des besoins et un questionnaire de positionnement a été réalisé). J’aurais apprécié que le contenu de la formation soit plus penché à notre cas d’usage et nos situations. En particulier de l’exploration en détail sur des concepts plus avancés avec une mise en oeuvre comme les modèles incrémentaux par exemple, ou bien un workflow complet de gestion de partitionnement avec dbt ET dagster dans le cas d’une utilisation de PostgreSQL.

Les supports (présentations) sont peu adaptés à une diffusion en salle car parfois peu lisible (captures d’écran de code) dans certains cas. La gestion du rythme est à revoir, nous avons dû à plusieurs reprises demander à avancer nous et n’avons pas été suffisamment cadrés sur ce point. La partie pratique s’est résumée à créer les fichiers et à faire du copier/coller puis manipuler l’UI Dagster, sans vraiment rien écrire nous-même. Je peux comprendre que cela permette de plus explorer mais cela m’étonne pour un public qui peut ne pas être du tout averti.

Hugo D. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)
3 décembre 2025

Les + : Supports

Frédéric L. de chez CENTRE D'ETUDES ET D'EXPERTISE SUR LES RISQUES L'ENVIRONNEMENT LA MOBILITE ET L'AMENAGEMENT (CEREMA)

Noter la formation

Prix 2400€ HT / personne
3 jours (21 heures)

Paris | Classe Virtuelle

Dernières places Virtuelle uniquement
Labs : Infrastructure DaaS avec Chrome
Cafés et déjeuners offerts en interentreprises
En intra-entreprise pour former votre équipe
Aide au financement 2500€ Bonus Atlas CPF

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp