Formation Kafka
| 1980€ HT / personne |
| 3 jours (21 heures) |
Présentation
Maîtrisez Apache Kafka pour concevoir des pipelines de données temps réel scalables et fiables. Apprenez à configurer des architectures distribuées, à manipuler des flux d’événements et à utiliser les APIs Kafka (Core Kafka, Kafka Streams, Kafka Connect).
Notre formation Apache Kafka vous permettra de comprendre l’architecture de la plateforme et de mettre en œuvre des pipelines de streaming de données robustes au cœur d’architectures événementielles modernes.
Vous apprendrez à installer, configurer et administrer un cluster Kafka, à produire et consommer des messages, et à exploiter les mécanismes garantissant la fiabilité et la scalabilité des flux de données.
Cette formation vous apportera les compétences nécessaires pour intégrer Apache Kafka dans des architectures data modernes et construire des systèmes de data streaming performants et résilients.
Comme toutes nos formations, celle-ci vous présentera la dernière version stable de la technologie Kafka (4.2.0) et ses nouveautés.
Objectifs
- Comprendre l’architecture et les concepts fondamentaux d’Apache Kafka.
- Concevoir et implémenter des producers et consumers Kafka.
- Construire des pipelines de données en temps réel.
- Intégrer Kafka avec différentes sources et systèmes de données.
- Comprendre et mettre en œuvre des architectures event-driven.
- Mettre en œuvre les mécanismes de sécurité Kafka.
Public visé
- Développeurs backend
- Data engineers
- Architectes logiciels
- Ingénieurs DevOps
- Administrateurs système
Pré-requis
- Connaissances de base d’un système Unix
- Connaissance dans un langage de développement moderne (Java, Python, Scala)
- Compréhension des concepts de messagerie et de traitement de flux de données
Pré-requis logiciels (dans le cas d’une Intra-entreprise)
- Système d’exploitation à jour
- La dernière version de JDK
- Docker ou environnement permettant d’exécuter Apache Kafka
RECOMMANDATIONS DE LECTURES AVANT LA FORMATION
- Kafka in a nutshell est un excellent moyen de comprendre les bases du logiciel
- La documentation officielle d’apache Kafka
- Un article pour comprendre le jargon Kafka
Programme de la formation Kafka
Introduction à Kafka
- Présentation du projet Apache Kafka
- Principaux cas d’usage : Message broker, Bufferisation d’évènements, architecture event-driven, pipeline de données en temps réel
- Comprendre le concept de log distribué : topic, partition, groupe de consommateurs
- Fonctionnement générale d’une plateforme de streaming de données.
Cluster Kafka
- Architecture d’un cluster Kafka : contrôleurs, brokers, coordinateurs
- KRaft vs ZooKeeper : évolution de l’architecture Kafka et gestion du metadata quorum
- Distributions Kafka : différentes alternatives de mise en place
- Utilitaires Kafka essentiels : Command-line tools
- Outils graphiques pour la gestion et le monitoring (ex. AKHQ, Confluent Control Center, Kafka UI)
- Ateliers : Mise en place d’une stack docker démarrant Kafka et un outils d’administration, Pratique des outils de commande en ligne
Kafka APIs
- Producer API : Production synchrone, asynchrone, fire-and-forget et comparaison des stratégies
- Consumer API : Boucle de poll, gestion des offsets
- Gestion des schemas avec un Schema Registry : sérialisation (Avro,/ JSON / Protobuf) et modes de compatibilité
- Connect API : Intégration avec des systèmes externes et gestion des connectors
- Parcours de l’API d’admin
- Ateliers : 1 atelier sur chaque point dans le langage des participants (Java, C#, Python, Javascript, …)
Garanties Kafka
- Comprendre les mécanismes de réplication et leur importance
- Garanties At Most Once et At Least Once
- Comment obtenir de l’Exactly Once
- Configurations pour optimiser le débit et la latence
- Ateliers : Test de la configuration par défaut et développement d’un processeur offrant de l’Exactly Once.
Kafka Stream
- Concepts de Kafka Streams pour le traitement distribué
- Introduction et utilisation de l’API Kafka Stream
- Découverte de ksqlDB : requêtes SQL sur des flux Kafka
- Ateliers : Développement d’un processeur avec Kafka Stream et découverte ksqlDB
Sécurité
- Configuration des listeners Kafka
- Mise en place de SSL/TLS pour sécuriser les communications
- Authentification des clients via SASL : Plain, SCRAM, Kerberos, OAuth2
- Gestion des droits d’accès avec les ACLs
- Configuration des quotas pour limiter l’utilisation des ressources
- Ateliers : Démarrage d’un stack sécurisé et implémentation code client
FAQ – QUESTIONS / RÉPONSES
Pourquoi choisir Apache Kafka pour mon architecture Big Data ?
Apache Kafka est la référence pour les architectures Event-Driven. Contrairement aux bus de messages traditionnels, Kafka offre une persistance des données et une scalabilité horizontale inégalée. Cette formation vous apprendra à transformer votre flux de données en un système de streaming en temps réel, essentiel pour les microservices modernes et l’analyse de données à grande échelle
Comment intégrer Apache Kafka dans une architecture existante ?
Cette formation vous apprend à intégrer Apache Kafka dans votre architecture en connectant vos systèmes existants via Kafka Connect et en construisant des pipelines de données avec des outils comme Spark ou Flink.
Quels sont les prérequis pour suivre cette formation Kafka ?
Cette formation s’adresse aux développeurs, architectes et ingénieurs de données. Une connaissance de base en Java ou dans un langage orienté objet est recommandée, ainsi que des notions sur les systèmes distribués. Nous reprenons les fondamentaux des Producers, Consumers et des Topics avant d’attaquer les concepts avancés
Pourquoi Kafka est-il devenu un pilier des architecture modernes en temps réel ?
Apache Kafka s’est imposé comme un standard du streaming de données grâce à sa capacité à traiter de grands volumes d’événements en temps réel, à garantir la persistance des messages et à s’intégrer facilement dans des architectures distribuées.
En quoi Kafka se différencie t-il des autres systèmes de gestion de messages ou de flux ?
Apache Kafka se distingue des systèmes de messagerie classiques par sa capacité à gérer des flux de données en temps réel avec une persistance durable, une scalabilité horizontale et un traitement distribué, tout en maintenant une faible latence.
Comment Apache Kafka transforme-t-il la gestion des données en entreprise ?
Apache Kafka permet de centraliser les flux de données et de construire des pipelines de données temps réel pour alimenter des systèmes analytiques, des applications et des microservices, tout en améliorant la performance et la scalabilité.
Comment gérer des flux de données à grande échelle avec Apache Kafka ?
Cette formation vous apprend à gérer des flux de données à grande échelle avec Apache Kafka en utilisant les partitions, les consumer groups et la réplication pour garantir scalabilité et performance.
Quels cas pratiques sont abordés dans cette formation Apache Kafka ?
Cette formation propose des cas pratiques autour de la mise en place de pipelines de données temps réel, de l’optimisation de clusters Kafka et de la gestion de flux d’événements à grande échelle.
Cette formation Kafka est-elle éligible au financement CPF ?
Oui. En tant qu’organisme certifié Qualiopi, Ambient IT propose ce cursus Apache Kafka en étant éligible aux financements CPF, OPCO et Pôle Emploi. Nos conseillers vous accompagnent dans le montage de votre dossier administratif pour une prise en charge pouvant aller jusqu’à 100%
Pour aller plus loin
Formation Spark Streaming
Formation Spark Tuning Avancé
Formation Spark et Machine Learning
Formation Apache Flink
Formation Kafka Administration
Formation RabbitMQ
Autour du sujet
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Daniel Lavoie
Témoignages
Les + : Formation accessible même avec peu de connaissance par rapport à Kafka.
Les – : Trop de temps durant les travaux pratiques à devoir corriger les fichiers .yml pour tester ce qu’on voit en théorie.
Afficher tous les témoignages
Les + : Formation accessible même avec peu de connaissance par rapport à Kafka.
Les – : Trop de temps durant les travaux pratiques à devoir corriger les fichiers .yml pour tester ce qu’on voit en théorie.
Les + : – Maîtrise du sujet de la part de la formatrice
– Disponibilité pour les questions
– Part importante de la pratique
Les – : – Mise en place des cas pratiques parfois un peu sinueuse ce qui empêche leur finalisation par manque de temps
– Absence de pause (hors pause midi)
Les + : La présentation de tous les concepts, les outils, les bonnes pratiques.
Les – : Point d’amélioration. Mettre en place avant la formation des environnements (VM + docker) afin d’avoir des env. prêt à l’emploi pour les TP.
En synthèse : Merci à Sara
Les + : Interaction avec les besoins
Les – : Nombre de points abordés
Les + : Beaucoup de temps pour les TP
Mohamed, notre formateur, incollable sur Kafka malgré nos nombreuses questions.
Les – : Les PC “gamer” avec le clavier le plus étrange que j’ai utilisé … c’est un détail, mais ce n’est pas le plus pratique 😉
Réponse d'Ambient IT
Merci pour d’être venu & désolé, en effet, on a des PC avec des Layouts plus classiques aussi, il faut revenir pour les tester :p
Je recommande la formation
Les + : Permet de bien comprendre la philosophie du produit
Les – : Pourrait se faire sur 2 jours.
TP pas assez préparé : beaucoup de problèmes rencontrés sur chaque TP souvent non lié à Kafka (docker, java, …)
Les + : Equilibre entre la théorie et la pratique.
Formateur qui explique de façon très pédagogique.
Les – : Pas vraiment de points faibles mais peut-être qu’elle aurait besoin d’un jour supplémentaire.
Je souhaite suivre : Docker
Tests
En synthèse : Pas un point faible en soi mais la formation s’adresse plus à un public d’administrateur de réseau et/ou devops, et moins aux développeurs (qui formaient le public de la formation).
Les + : – Contenu riche et équilibré (théorie et pratique).
– Les Workshop (ateliers) qui nous ont permis de mettre en pratique et mieux comprendre les aspects théoriques.
Les – : – La durée de la formation (5 jours au lieu de 3 jours ça aurait été parfait)
Je souhaite suivre : Formations architecte informatique, Cyber Sécurité, ingénieur IA
Les + : Formation très utile, permettant de comprendre ce qu’est Kafka, ses différents aspects, son utilité.
Le temps a été bien réparti entre la partie théorique et les workshop.
Les + : Bon découpage du cours en ateliers. Bon équilibre théorie/pratique.
Les – : Un peu trop courte pour le niveau de connaissances du sujet de notre équipe au préalable.
Les + : alliance de la pratique à la thèorie
Les – : Pourrais être faite en un laps de temps plus long
Noter la formation
| 1980€ HT / personne |
| 3 jours (21 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
