Formation Calista Framework

Formation Calista : Qualité de Données & Industrialisation

[Jour 1 – Matin]

Fondamentaux et Architecture

• Comprendre les enjeux de la Data Quality : les 6 dimensions clés
• Présentation de Calista : philosophie “DQ as Code” et écosystème
• Architecture technique : moteur Spark, configurations et métadonnées
• Comparaison vs outils du marché (Great Expectations, Deequ)
• Installation et setup de l’environnement de développement
• Atelier pratique : Initialisation d’un projet Calista et premier scan d’un dataset.

[Jour 1 – Après-midi]

Mise en œuvre des contrôles

• Le Profiling : analyse automatique de la structure et distribution
• Définition des Rules & Checks : types, formats (Regex), nullité, unicité
• Gestion des seuils de tolérance et niveaux d’alerte
• Configuration des sorties (outputs) et logs d’exécution
• Atelier pratique : Création d’un plan de contrôle complet sur un jeu de données métier.

[Jour 2 – Matin]

Fonctions Avancées et Customisation

• Contrôles croisés (Cross-checks) : cohérence inter-sources
• Calcul de KPIs personnalisés et extension du framework
• Gestion et isolation des anomalies (données rejetées)
• Génération de rapports de non-conformité
• Atelier pratique : Réconciliation complexe entre une source SQL et un fichier CSV.

[Jour 2 – Après-midi]

Industrialisation et Monitoring

• Intégration CI/CD (Jenkins, GitLab CI)
• Exploitation des résultats pour le Reporting et Dashboards
• Optimisation des performances sur gros volumes (Spark tuning)
• Stratégies de mise en production et surveillance
• Atelier pratique : Pipeline complet de l’injection au rapport de qualité final.