Formation Apache Hudi

Programme de notre Formation Apache Hudi

Pourquoi Apache Hudi ?

• Évolution des formats de tables
• Besoins d’upserts, deletes et time-travel dans un data lake
• Principes ACID et timeline transactionnelle
• Cas d’usage typiques : CDC temps réel, conformité RGPD, IoT
• Positionnement dans l’écosystème Spark / Flink / Trino

Anatomie d’Hudi

• Modes de tables : Copy-on-Write (CoW) vs Merge-on-Read (MoR)
• Timeline, commits, instant states
• Metadata Table & Record-Level Index
• Services internes : compaction, clustering, cleaning
• Connecteurs query-engine (Hive, Presto/Trino, Spark SQL)

Mise en route sandbox

• Pré-requis Docker & Spark stand-alone
• Déploiement rapide via docker-compose
• Création d’une table CoW partitionnée
• Premier chargement batch (API DataSource)
• Atelier pratique : Quick Start Hudi Docker – créer et interroger sa première table

Upserts, Deletes & Time-Travel avec Spark

• Clés essentielles : recordkey, precombine, partitionpath
• Écriture incrémentale : gestion des conflits, ordering field
• Lecture snapshot vs incrémentale
• Requêtes “à l’instant T” (time-travel)
• Atelier pratique : Insérer 1 M de lignes, rejouer un CDC, interroger T-1

Ingestion streaming avec Spark Structured Streaming & Flink

• Architecture exactly-once sur stream
• Gestion de l’ordre d’arrivée et late events
• Configurer un sink Flink SQL vers table MoR
• Stratégies de compaction asynchrone
• Atelier pratique : Pipeline Kafka → Flink → Hudi en live

Performance et optimisation

• Indexation : Bloom, HFile, Global Secondary, Record-Level
• Compaction : triggers automatiques vs manuels
• Clustering pour réécriture de partitions chaudes
• Tuning write-amp & small files
• Benchmarks lecture vs écriture (CoW / MoR)

Sécurité, gouvernance & conformité

• Soft-delete, purge physique et rollback
• Gestion des schémas Avro & compatibilité évolutive
• Chiffrement côté stockage (SSE-S3, KMS)
• Intégration Lake Formation / tag-based ACL
• Atelier pratique : Supprimer des enregistrements RGPD et vérifier via snapshot

Déploiement cloud & opérations

• Bonnes pratiques S3 / GCS (consistency, retries, caching)
• Monitoring Prometheus & Hudi CLI
• Stratégies de backup / restore et migration 0.x → 1.x
• Coûts opératoires : write-amp, compaction, vacuum policies
• Modèles IaC (Terraform, Helm) pour production

Intégration analytique & projet final

• Exposer les tables dans Hive Metastore / Glue Catalog
• Query federation : Trino, Athena, Spark SQL
• Data Lakehouse : Hudi + Presto dashboard temps réel
• CI/CD : tests d’intégrité, validation schema