Formation Architecture Lakehouse

Formation Architecture Lakehouse

[Jour 1 – Matin]

Fondamentaux du Lakehouse et formats ouverts

• Comprendre l’intérêt du Lakehouse pour simplifier l’accès à la donnée.
• Identifier les limites des architectures Data Lake classiques.
• Adopter Iceberg pour fiabilité, ouverture et évolutivité.
• Gérer facilement l’historique grâce aux snapshots.
• Structurer la donnée via les zones Bronze / Silver / Gold.
• Atelier pratique : Lecture des métadonnées d’une table Iceberg.

[Jour 1 – Après-midi]

Catalogues et intégration au SI

• Comprendre le rôle des catalogues pour centraliser la gouvernance.
• Choisir entre Hive, Glue, Nessie ou REST Catalog selon le SI.
• Structurer namespaces et environnements de manière cohérente.
• Intégrer Spark, Trino ou Flink sans dépendance propriétaire.
• Sécuriser et normaliser la découverte des tables.
• Atelier pratique : Création et enregistrement de tables dans un catalogue.

Schéma, partitionnement et évolution

• Définir des schémas lisibles et adaptés aux usages BI/ML.
• Choisir un partitionnement efficace pour optimiser les lectures.
• Faire évoluer le schéma sans casser les pipelines existants.
• Simplifier l’intégration des producteurs et consommateurs Data.
• Garantir cohérence et compatibilité entre versions.
• Atelier pratique : Modifier un schéma Iceberg en conditions réelles.

[Jour 2 – Matin]

Ingestion Batch, Micro-batch et Streaming

• Choisir le bon mode d’ingestion selon la criticité métier.
• Alimenter Iceberg avec Spark Streaming ou Flink de manière fiable.
• Éviter les small files pour stabiliser les performances.
• Gérer les données en retard et les mises à jour incrémentales.
• Simplifier merges et corrections de données.
• Atelier pratique : Ingestion end-to-end d’un flux dans Iceberg.

[Jour 2 – Après-midi]

Snapshots, time travel et historique

• Exploiter le time travel pour analyser l’évolution des données.
• Restaurer ou comparer un état passé simplement.
• Comprendre l’impact métier du versionnement complet.
• Suivre changements et erreurs via l’historique intégré.
• Gérer efficacement rétention et nettoyage.
• Atelier pratique : Diagnostic d’un incident via time travel.

Gouvernance, sécurité et Data Mesh

• Définir un cadre de gouvernance compatible Lakehouse.
• Appliquer masquage, RBAC et règles d’accès cohérentes.
• Assurer lignée, audit et traçabilité pour tous les domaines.
• Structurer la donnée en produits dans un Data Mesh.
• Renforcer qualité et fiabilité via tests et validations.
• Atelier pratique : Création d’un domaine Data Mesh sécurisé.

[Jour 3 – Matin]

Performance et optimisation

• Identifier les facteurs influençant les performances Iceberg.
• Accélérer les requêtes via pruning et organisation de fichiers.
• Optimiser le stockage pour réduire les coûts.
• Surveiller les tables pour détecter dérives et anomalies.
• Stabiliser workloads BI et Data Science.
• Atelier pratique : Optimisation d’une table lourde.

[Jour 3 – Après-midi]

Lakehouse pour MLOps et DataOps

• Utiliser le Lakehouse comme socle pour les features ML.
• Versionner les données pour fiabiliser les modèles.
• Automatiser pipelines DataOps : tests, promotion, CI/CD.
• Aligner équipes Data, DevOps et métiers sur un référentiel commun.
• Accélérer expérimentation et industrialisation ML.
• Atelier pratique : Pipeline MLOps utilisant des données Iceberg versionnées.

Supervision, incidents et exploitation

• Mettre en place observabilité et métriques pour le Lakehouse.
• Suivre santé des tables : manifestes, snapshots, compaction.
• Anticiper incidents et définir des scénarios de reprise.
• Optimiser les coûts via politiques FinOps ciblées.
• Structurer un runbook clair pour les équipes DataOps.
• Atelier pratique : Création d’un runbook opérationnel complet.