Formation Great Expectations

Programme de notre formation Great Expectations

[Jour 1 – Matin]

Fondamentaux et environnement de validation

• Dimensions de qualité des données et conséquences des anomalies sur les risques métier
• Périmètre de GX Core et distinction entre validation de données, cybersécurité et certification
• Architecture des objets : Data Context, Data Source, Data Asset, Batch Definition et Batch
• Installation isolée, dépendances figées et organisation d’un projet Python reproductible
• Choix entre Data Context éphémère et persistant selon les usages
• Atelier pratique : Initialiser un projet GX Core et exécuter un premier contrôle sur un jeu de données métier anonymisé.

[Jour 1 – Après-midi]

Sources et premières règles qualité

• Connexion aux données avec pandas et PostgreSQL selon le contexte d’exécution
• Définition des Data Assets et découpage des données en lots reproductibles
• Construction d’une Expectation Suite à partir d’exigences métier explicites
• Contrôles de complétude, d’unicité, de valeurs autorisées et de bornes
• Création d’une Validation Definition et lecture des résultats de validation
• Atelier pratique : Connecter deux sources, construire une suite de contrôles et analyser les anomalies injectées.

[Jour 2 – Matin]

Règles métier et validations approfondies

• Traduction des risques métier en exigences mesurables et seuils d’acceptation
• Contrôles de structure, de volumétrie et de cohérence entre colonnes
• Paramétrage des tolérances avec mostly et gestion explicite des valeurs nulles
• Utilisation de conditions de lignes et de règles SQL adaptées au moteur choisi
• Tests des suites sur des cas limites et distinction entre anomalie de données et erreur d’exécution
• Atelier pratique : Construire et tester une suite de validation métier avec tolérances, contrôles conditionnels et cas limites.

[Jour 2 – Après-midi]

Checkpoints et pipelines certifiants

• Assemblage des Validation Definitions dans des Checkpoints réutilisables
• Automatisation des Actions et publication des Data Docs pour les équipes
• Choix du result_format selon les besoins de diagnostic et de confidentialité
• Gestion des seuils de blocage, des rejets et de la reprise dans le code du pipeline
• Conception de pipelines certifiants par conservation des preuves, sans valeur de certification réglementaire
• Atelier pratique : Réaliser un pipeline bloquant les lots non conformes et archivant les résultats avec les versions des règles et les identifiants de lots.

[Jour 3 – Matin]

Hardening et protection des résultats

• Analyse des surfaces d’exposition du projet, des connexions et des artefacts de validation
• Externalisation des secrets et exclusion des informations sensibles du dépôt de code
• Application du moindre privilège aux comptes de lecture et aux répertoires de stockage
• Réduction des données sensibles dans les résultats, les journaux et les Data Docs
• Stratégie de hardening de l’environnement hôte, des dépendances et des communications, hors fonctions natives de GX
• Atelier pratique : Durcir un projet de laboratoire, supprimer les secrets exposés et vérifier les informations présentes dans les artefacts produits.

[Jour 3 – Après-midi]

Intégration aux flux SIEM et EDR

• Positionnement de Great Expectations comme contrôle qualité des flux de sécurité, sans fonction de détection EDR native
• Préparation d’exports EDR anonymisés avec identifiants, horodatages et champs normalisés
• Validation de la complétude, de l’unicité et de la cohérence temporelle des événements
• Conception d’une Action personnalisée pour transmettre des résultats synthétiques à un collecteur SIEM
• Gestion des échecs de transmission, des doublons et des identifiants de corrélation dans l’intégration
• Atelier pratique : Valider un export EDR et envoyer un événement qualité sans données sensibles vers un collecteur SIEM de test.

[Jour 4 – Matin]

Industrialisation et exploitation fiable

• Organisation des configurations entre développement, test et production
• Intégration des validations dans une chaîne CI/CD avec tests de non-régression
• Optimisation du périmètre des lots, des requêtes et du volume de résultats retournés
• Suivi des durées d’exécution, des taux de conformité et des incidents de validation
• Politique de rétention, sauvegarde des configurations et reprise après incident
• Atelier pratique : Automatiser l’exécution du pipeline en intégration continue et comparer sa fiabilité et ses performances avant et après optimisation.

[Jour 4 – Après-midi]

Projet de synthèse et transfert aux équipes

• Conception d’une architecture cible associant validation métier, hardening et intégration sécurité
• Définition des critères d’acceptation et des preuves attendues pour chaque lot
• Répartition des responsabilités entre équipes data, exploitation et sécurité
• Création d’un kit de formation interne avec jeux de données, exercices progressifs et corrigés
• Préparation d’un guide d’exploitation et d’une grille d’évaluation des compétences techniques
• Atelier pratique : Livrer et présenter un pipeline certifiant durci sur données métier et exports EDR, avec remontée SIEM, preuves de contrôle et support de prise en main.