Formation Apache Spark Structured Streaming

Programme de notre formation Apache Spark Structured Streaming

[Jour 1 – Matin]

Comprendre Apache Spark Structured Streaming

• Rappels sur l’architecture d’Apache Spark : Driver, Executors, Jobs, Stages et Tasks
• Comprendre les différences entre traitements batch et streaming
• Découvrir le modèle micro-batch et le fonctionnement de Structured Streaming
• Comprendre l’évolution de l’ancienne API Spark Streaming / DStreams vers Structured Streaming
• Prendre en main SparkSession et les DataFrames streaming avec PySpark
• Atelier pratique : créer et exécuter une première requête Structured Streaming avec PySpark.

[Jour 1 – Après-midi]

Construire et transformer des flux avec Structured Streaming

• Créer des sources streaming avec readStream et DataStreamReader
• Écrire les résultats avec writeStream et DataStreamWriter vers des fichiers, tables ou traitements personnalisés
• Comprendre les Output Modes append, update et complete ainsi que les différents triggers
• Transformer, filtrer et enrichir les flux avec les API DataFrame et Spark SQL
• Réaliser des agrégations et utiliser foreachBatch pour intégrer des traitements personnalisés
• Atelier pratique : construire un pipeline combinant source, transformations, agrégations et différents modes de sortie.

[Jour 2 – Matin]

Intégrer Apache Kafka à Structured Streaming

• Comprendre les concepts Kafka : brokers, topics, partitions, offsets, producers et consumers
• Configurer Kafka comme source d’un pipeline Spark Structured Streaming
• Lire, désérialiser et transformer les messages provenant des topics Kafka
• Utiliser Kafka comme sink et publier les résultats des traitements streaming
• Comprendre la gestion des offsets, les garanties de traitement et les principes de reprise après incident
• Atelier pratique : construire et tester un pipeline Kafka → Spark Structured Streaming → sink.

[Jour 2 – Après-midi]

Gérer le temps événementiel et corréler les flux

• Distinguer event time et processing time et comprendre leur impact sur les traitements
• Créer des fenêtres temporelles avec le windowing tumbling et sliding
• Gérer les données arrivant en retard avec les watermarks
• Enrichir un flux avec des données statiques grâce aux stream-static joins
• Corréler plusieurs flux avec les stream-stream joins et maîtriser la conservation de l’état
• Atelier pratique : corréler des flux Kafka avec windowing, watermark et jointure stream-stream en prenant en compte les événements tardifs.

[Jour 3 – Matin]

Gérer l’état et assurer la tolérance aux pannes

• Comprendre les principes du stateful processing et le fonctionnement du State Store
• Gérer l’état, les clés et les mécanismes de timeout des traitements streaming
• Maîtriser la croissance de l’état avec les watermarks et les stratégies d’expiration
• Configurer le checkpointing et restaurer une requête après une interruption
• Gérer les offsets, les risques de doublons et concevoir des traitements idempotents
• Atelier pratique : construire un traitement stateful, provoquer une interruption puis vérifier sa reprise depuis un checkpoint.

[Jour 3 – Après-midi]

Superviser et optimiser les pipelines en production

• Superviser les requêtes avec Spark UI et les métriques Structured Streaming
• Analyser la progression des requêtes, les temps de traitement, le débit et le backlog
• Optimiser le partitionnement, les shuffles et la taille des micro-batches
• Surveiller et optimiser le State Store et les traitements stateful
• Diagnostiquer les problèmes de performance et adapter les ressources aux volumes traités
• Atelier pratique : analyser un pipeline streaming sous charge, identifier ses goulots d’étranglement et appliquer les optimisations adaptées.