Formation Dagster : Orchestration des pipelines de données dans le cloud
| 2400€ HT / personne |
| 3 jours (21 heures) |
Présentation
La formation Dagster, vous apprendra à utiliser cet orchestrateur de données. Vous saurez manier avec perfection ce cadre pour la création de pipelines de données et les expédier à une vitesse extraordinaire.
Durant cet apprentissage, votre équipe saura ingérer des données provenant de sources externes ou d’autres ressources de données. Vous pourrez également combiner et transformer les données de manière significative.
Dagster vous sera utile, car il dispose de trois points clés qui le rendent donc unique. Votre entreprise sera apte à développer localement et effectuer des tests automatisés. Vous pourrez notamment calculer la valeur d’un actif grâce à une fonction Python pure déclarative. Grâce à son découplage des canalisations de l’environnement, vous accèderez à un grand nombre de fonctionnalités.
Comme toutes nos formations, celle-ci vous présentera la dernière version en date et ses nouveautés : Dagster 1.1.
Objectifs
- Savoir intégrer divers outils dans Dagster
- Savoir où utiliser un actif stocké
- Maîtriser l’ensemble des concepts
- Comprendre l’architecture de déploiement et la mettre en place
Public visé
- Data Scientists
- Data Analysts
- Ingénieurs d’analyse
- Ingénieurs de données
- Ingénieurs DevOps
Pré-Réquis
- Connaissances générales sur les données
- Connaissance du langage Python
Programme de notre formation Dagster
Introduction
- Présentation de Dagster
- Installation
- Premier pas avec Dagster
- Télémétrie
Création d’un nouveau projet
- Utilisation du squelette de projet
- Démarrage du serveur Web Today
- Ajout de nouvelles dépendances Python
- Test unitaire
- Variables d’environnement et secrets
Actifs
- Définir un actif
- Construction de graphes de ressources
- Définir des ressources sans valeurs de retour ou d’arguments
- Test des actifs
- Automatisation de la matérialisation des actifs
- Partitionnement des actifs
- Personnalisation du stockage des actifs
- Travaux hors actifs
Concepts
- Opérations
- Crochets
- Évènements
- Tentatives
- Graphiques
- Dynamique
- Emboîtement
- Travaux
- Métadonnées et balises
- Exécution des travaux
- Programmes
- Capteurs
- Cloisons
- Lancement des remplissages
- Lancement de l’interface utilisateur Dagit
Déploiement
- Architecture de déploiement
- Services de longue durée
- Configuration
- Flux d’exécution des tâches
- Dagster Cloud
Intégrations
- Utiliser Dagster avec Airflow
- Spark
- Exécution du code PySpark dans les opérations
- Soumission d’opérations PySark sur EMR
- Validation des DataFrames Pandas avec les types Pandas
- Snowflake et Dagster
- Utilisez Python pour analyser vos données stockées dans Snowflake sans requête SQL
- Intégrez vos tables Snowflake à d’autres outils
Pour aller plus loin
Formation Apache Airflow
Formation Apache Nifi
Formation Alteryx
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Témoignages
Les + : L’initiation à Dagster depuis les bases, permet de construire un projet from scratch.
Les – : Dbt vue en coup de vent, on à surtout vu l’intéraction entre dbt et dagster. Pour ma part, j’avais déjà pas mal pratiqué Dagster, j’en attendais plus coté DBT (concept, avantage, pratique).
En synthèse : Cela reste un avis très personnel, car j’avais déjà pratiqué dagster, mais c’était plus une formation Dagster et comment inégrer un projet dbt à Dagster, qu’une formation Dagster/DBT. Je m’attendais à en apprendre plus sur DBT, les bonnes pratiques, les avantages, les concepts. RAS sur le formateur, Hachem était très pro et sympathique.
Afficher tous les témoignages
Les + : L’initiation à Dagster depuis les bases, permet de construire un projet from scratch.
Les – : Dbt vue en coup de vent, on à surtout vu l’intéraction entre dbt et dagster. Pour ma part, j’avais déjà pas mal pratiqué Dagster, j’en attendais plus coté DBT (concept, avantage, pratique).
En synthèse : Cela reste un avis très personnel, car j’avais déjà pratiqué dagster, mais c’était plus une formation Dagster et comment inégrer un projet dbt à Dagster, qu’une formation Dagster/DBT. Je m’attendais à en apprendre plus sur DBT, les bonnes pratiques, les avantages, les concepts. RAS sur le formateur, Hachem était très pro et sympathique.
Je recommande la formation
Je recommande la formation
Les + : La documentation
Les – : Des temps morts parfois trop importants
Les + : attention sur le rythme de formation; c’était souvent les stagiaires qui définissaient le timing
Les – : modules très clairs mais exemples très “marketing” assez éloignés de nos problématiques
Les + : Je pense que cette formation permet une bonne première approche de dagster/dbt. Le code fourni est détaillé et commenté et permet d’avoir une bonne base pour commencer à travailler. Les concepts couverts sont assez complets. Formateur sympathique et prêt à chercher les réponses qu’il n’a pas.
Les – : Les objectifs pédagogiques répondent à une initiation mais sont limités pour des personnes qui ont déjà un minimum d’expérience (alors qu’un recueil des besoins et un questionnaire de positionnement a été réalisé). J’aurais apprécié que le contenu de la formation soit plus penché à notre cas d’usage et nos situations. En particulier de l’exploration en détail sur des concepts plus avancés avec une mise en oeuvre comme les modèles incrémentaux par exemple, ou bien un workflow complet de gestion de partitionnement avec dbt ET dagster dans le cas d’une utilisation de PostgreSQL.
Les supports (présentations) sont peu adaptés à une diffusion en salle car parfois peu lisible (captures d’écran de code) dans certains cas. La gestion du rythme est à revoir, nous avons dû à plusieurs reprises demander à avancer nous et n’avons pas été suffisamment cadrés sur ce point. La partie pratique s’est résumée à créer les fichiers et à faire du copier/coller puis manipuler l’UI Dagster, sans vraiment rien écrire nous-même. Je peux comprendre que cela permette de plus explorer mais cela m’étonne pour un public qui peut ne pas être du tout averti.
Les + : Supports
Noter la formation
| 2400€ HT / personne |
| 3 jours (21 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS


























































