Formation Debezium avec Apache Kafka
| 1 400€ HT / personne |
| 2 jours (14 heures) |
Présentation
Debezium avec Apache Kafka est une solution de Change Data Capture permettant de capter les modifications de données en temps réel et de les diffuser dans Kafka. Avec Kafka Connect, les connecteurs Debezium, les snapshots initiaux et le streaming transactionnel, vous construisez des pipelines de données fiables, scalables et prêts pour la production.
Notre formation Debezium avec Apache Kafka vous permet d’aller au-delà des principes de base pour maîtriser les enjeux concrets de la réplication événementielle et de la synchronisation de données entre systèmes.
Vous apprendrez à déployer une architecture Kafka Connect, à configurer les connecteurs Debezium, à comprendre les événements de changement, les topics dédiés et les mécanismes de snapshot et de reprise.
À l’issue de la formation, vous saurez concevoir un flux CDC robuste, exploiter les données issues de bases relationnelles, sécuriser les échanges et fiabiliser l’intégration entre applications, entrepôts et services métiers.
Cette formation aborde également les bonnes pratiques de supervision, de gestion des schémas, de traitement des évolutions de structure et de préparation à l’exploitation en environnement de production.
Comme toutes nos formations, celle-ci vous présentera la dernière version stable de la technologie et ses nouveautés.
Objectifs
- Comprendre les principes du Change Data Capture et son intérêt dans une architecture événementielle.
- Configurer et exploiter Apache Kafka et Kafka Connect pour transporter des flux de données.
- Mettre en oeuvre les connecteurs Debezium pour capturer les changements de bases de données.
- Interpréter les événements, les snapshots, les topics et les métadonnées générés par Debezium.
- Construire une chaîne de traitement fiable, supervisable et adaptée à un usage production.
Public visé
- Data Engineer
- Développeur Data
- Architecte Data
- Ingénieur Plateforme
- Administrateur Kafka
Pré-requis
- Maîtrise des bases de SQL et des modèles relationnels.
- Connaissances générales en Java ou en développement backend.
- Notions sur les architectures événementielles et les files de messages.
- Expérience préalable avec Apache Kafka ou un système de streaming.
Pré-requis techniques
- Ordinateur récent avec ressources suffisantes pour exécuter Apache Kafka,Kafka Connect et les outils de démonstration.
- Connexion réseau stable en Wi-Fi ou Ethernet pour les manipulations en direct.
- Environnement de travail avec Java 17 ou version supérieure installé.
- Client de test ou IDE adapté pour éditer les fichiers de configuration et suivre les exercices.
- Accès à un terminal, et si la session est à distance,micro et casque recommandés.
Programme de notre formation Debezium avec Apache Kafka
[Jour 1 – Matin]
Fondamentaux du CDC
- Comprendre le rôle du Change Data Capture dans une architecture de données moderne.
- Identifier les apports de Debezium face aux approches d’intégration classiques.
- Revoir les concepts clés de Kafka, topics, producteurs, consommateurs et partitions.
- Analyser les cas d’usage métier, synchronisation, réplication, intégration temps réel et audit.
- Découvrir le positionnement de Kafka Connect dans la chaîne de traitement.
- Atelier pratique : cartographier un flux source cible et identifier les événements à capter.
[Jour 1 – Après-midi]
Architecture Debezium et Kafka Connect
- Étudier l’architecture de déploiement de Debezium sur Kafka Connect.
- Comprendre le rôle des connecteurs source et la logique de diffusion vers les topics Kafka.
- Découvrir les notions de snapshot, de streaming et de reprise après interruption.
- Lire la structure des événements CDC, clés, valeurs, métadonnées et opérations.
- Aborder les principes de nommage des topics et de gestion des schémas.
- Atelier pratique : déployer un connecteur Debezium et observer la création des topics associés.
[Jour 2 – Matin]
Configuration des connecteurs
- Configurer un connecteur MySQL ou PostgreSQL selon le contexte de démonstration.
- Paramétrer les accès, les autorisations et les propriétés de connexion nécessaires.
- Comprendre le rôle du journal de modifications, comme le binlog ou la réplication logique.
- Gérer la capture initiale des données et la continuité des changements.
- Interpréter les événements de type insert, update et delete.
- Atelier pratique : configurer un connecteur source et valider la remontée des premiers événements.
[Jour 2 – Après-midi]
Exploitation et industrialisation
- Structurer une chaîne de traitement exploitable en environnement production.
- Mettre en place les bonnes pratiques de supervision et de suivi des connecteurs.
- Gérer les évolutions de schéma et anticiper les impacts sur les consommateurs.
- Fiabiliser la reprise, le contrôle des offsets et la continuité de service.
- Identifier les points de vigilance liés à la sécurité, aux performances et à la maintenance.
- Atelier pratique : diagnostiquer un incident de flux et corriger la configuration du connecteur.
Pour aller plus loin
Formation Apache Hop
Formation Matplotlib
Formation Azure Data Factory
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Témoignages
⭐⭐⭐⭐⭐ 4,8/5 sur Google My Business. Vous aussi, partagez votre expérience !
Afficher tous les témoignages
⭐⭐⭐⭐⭐ 4,8/5 sur Google My Business. Vous aussi, partagez votre expérience !
Noter la formation
| 1 400€ HT / personne |
| 2 jours (14 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
