Formation Kafka
| 1980€ HT / personne |
| 3 jours (21 heures) |
Présentation
Les bénéfices de Kafka sont très nombreux par rapport à d’autres agents de message comme AMQP ou JMS. Apache Kafka est hautement scalable et durable, sa structure permet d’offrir un niveau de performance constant malgré l’utilisation de plusieurs térabits de messages stockés.
Dans cette formation pratique, vous apprendrez à construire une application qui peut publier des données sur un cluster Apache Kafka et s’abonner à celles-ci.
Vous découvrirez comment utiliser Kafka pour manipuler des pipelines de données, à maîtriser ses concepts, à utiliser les composants principaux, son architecture de base et à appeler ses API.
Outre le Core Kafka, le Kafka Connect et le Kafka Streams, la formation aborde également la plateforme Confluent, comme le Schema Registry et le REST Proxy.
Comme pour toutes nos formations, notre formation Kafka vous présentera sa toute dernière version et ses nouveautés (à la date de rédaction de l’article : Kafka 3.3.2 sortie le 03 octobre 2022).
Objectifs
- Comprendre l’architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients
- Comprendre les principes de communications inter applications
- Connaître les bonnes pratiques de distribution de messages
- Configurer Kafka pour l’intégration de données de sources et de formats différents
- Utiliser KSQL
- Travailler en sécurité
- Publier et récupérer des données vers un cluster Kafka
- Utiliser les outils et les API permettant l’interaction avec un cluster Kafka
- Sécuriser les données à destination et en provenance d’un cluster Kafka
- Créer vos propres Consumers et Producers
- Implémenter un consumer mutli-thread
- Utiliser un proxy REST
- Stocker des données Avro dans Kafka avec le Schema Registry
- Ingestion de données avec Kafka Connect
Public visé
- Développeurs
- Data Scientists
- Architectes
- Administrateurs système
- DevOps
Pré-requis
- Connaissances de base d’un système Unix
- Connaissance dans un langage de développement moderne (Java, Python, Scala)
Pour aller plus loin
Programme de la formation Kafka
Introduction
- Historique et complexité des systèmes
- Le traitement en temps réel : une importance business
- Kafka : Une plateforme de données de flux
Les fondamentaux
- Un aperçu de Kafka et efficacité
- Producers
- Brokers
- Consumers
- Utilisation de ZooKeeper
Installation & Administration
- Installation et options avancés
- Considération matérielle (Hardware)
- Administrer Kafka
Architecture
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d’écriture et de lecture de Kafka
- Partitions, Consumer Groups et Scalability
Développer avec Kafka
- Utiliser Maven pour la gestion de projet
- Accéder par programmation à Kafka
- Écrire un Producer in Java
- Utiliser REST API pour écrire un Producer
- Écrire un Consumer en Java
- Utiliser REST API pour écrire un Consumer
Développement avancé avec Kafka
- Créer un Consumer Multi-Thread
- Gestion des Offsets
- Consumer Rebalancing (rééquilibrage)
- Gestion manuelle des Offsets (Commits)
- Partitionnement des données
- Message Durability : gestion de la durée des messages
Nouveautés de la version Kafka 3.0
- Nouvelles fonctionnalités de Kafka
- Changement d’API
- Amélioration de KRaft
- Amélioration de métadonnées
- Kafka Connect
- Option de configuration MirrorMaker 2
- Dépréciation de Java 8 et Scala 2.12 en Kafka
Schema Management
- Introduction à Avro
- Avro Schemas
- Utilisation du Schema Registry
Kafka Connect : Data Movement
- Cas d’utilisation de Kafka Connect
- Les bases de Kafka Connect
- Modes : Standalone and Distributed
- Configuration du mode distribué
- Tracking Offsets
- Connector Configuration
- Comparaison d’utilisation avec des options avancées
Kafka Streams
- Cas d’utilisation de Kafka Streams
- Kafka Streams : les fondamentaux Fundamentals
- Étude d’une application et usage de Kafka Streams
Tuning & Supervision avancé (Module Optionnel) – 2 jours
- Log Compaction
- Configuration Settings
- Hardware and Capacity Planning
- Traitement des Oversized Messages
- Monitoring & Alerte
- ZooKeeper and OS-Level Monitoring
- Key Kafka Metrics
- Cluster Administration
- Key Cluster Administration Tasks
- Replicating Clusters avec MirrorMaker
- Kafka Security
- SSL for Encryption and Authentication
- SASL for Authentication
- Authorization
- Migration vers Secure Cluster
MODULE COMPLÉMENTAIRE EN ANGLAIS SUR DEMANDE (+2 JOURS) – KAFKA DEVELOPER
- Training language : English
- Course level : Beginner to intermediate
Théorie : 60% Pratique : 40%
Audience :
● Software Developers
● Data Engineers
● Architects
Getting Started
- Kafka Overview
- Kafka Basic Concepts
- Zookeeper Overview
Developing with Kafka
- First Kafka Producer (Java/Python)
- Inside Kafka Producer
- Advanced Kafka Producer (Java/Python)
- First Kafka Consumer (Java/Python)
- Inside Kafka Consumer
- Advanced Kafka Consumer (Java/Python)
Replications and Reliability
- Basic Replication Concepts
- Recovery and Failures
- Exactly Once Semantics (EOS)
- Controller Broker
- Inside Kafka Broker
Kafka Topic Management
- Topic Basic Operations
- Log Management
- Designing Topics
- Kafka Security
Kafka Connect
- Kafka Connect Concepts
- Types of Connectors
- Kafka Connect Implementation
- Standalone and Distributed Modes
- Configuring the Connectors
Kafka Streams
- Kafka Streams Concepts
- First Kafka Stream (Java/Python)
- Stateless KStreams
- Stateful KStreams
Formation Kafka Administration
Formation Spark Tuning Avancé
Formation Spark et Machine Learning
Formation Cassandra
Formation Spark Streaming
Formation PostgreSQL
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Cyril
Témoignages
Les + : Formateur avec une expérience sur le terrain et de bons REX.
En synthèse : De formateur à formateur, piste d’amélioration:
– Peut être passer voir ce que font chacun pendant les TP, et voir si pas de bloquage / si choses intéressante a présenter a tout le monde
– envoyer un zip « corrigé » à la fin au cas où certains n’ai pas réussi
– continuer comme ca 😉
Afficher tous les témoignages
Les + : Formateur avec une expérience sur le terrain et de bons REX.
En synthèse : De formateur à formateur, piste d’amélioration:
– Peut être passer voir ce que font chacun pendant les TP, et voir si pas de bloquage / si choses intéressante a présenter a tout le monde
– envoyer un zip « corrigé » à la fin au cas où certains n’ai pas réussi
– continuer comme ca 😉
Je recommande la formation
Les + : Pedagogie et expérience réelle du formateur, les différents exemples rencontrés lors de ses différentes missions permettent de bien illustrer les problématiques de kafka. Les exercices pratiques sont bien préparés et intégrés. Le rythme de la formation.
En synthèse : On aimerait bien manipuler encore plus kafka streams et connect mais ça serait compliqué d’ajouter plus de pratique avec la contrainte de temps
Les + : On sent que le formateur est très compétent dans ce domaine et qu’il l’a beaucoup pratiqué. Il apporte beaucoup d’exemple de son expérience professionnelle, ce qui est très appréciable
Je recommande la formation
Les + : Convivialité et approche pédagogique
Les – : Le temps
Les + : Pedagogie. Formateur à l’écoute.
Les – : 72h c’est assez court pour tous les concepts à assimiler.
Je recommande la formation
Les + : Les tests et excercices corrigés en live
Les – : setup environnement
Je souhaite suivre : devops
Les + : Beaucoup de pratique
Les – : Par moments support de cours ancien et perte de temps sur les installations parfois (mauvaise version de logiciel etc)
Je recommande la formation
formateur très compétant qui maitrise bien le sujet et donne des exemples concrets
Je recommande la formation
Experience concrete du formateur sur les sujets abordes, theorie puis pratique, plusieurs cas d’usages abordes, bonne pedagogie
Manque de temps pour aborder certains points, language pour la partie pratique impose
pratique, expérience du formateur qui citent des exemples
formation pas enregistré. Il faut suivre tous les détails durant 3jours
Formateur à l’écoute, propose des solutions aux problèmes rencontrés en entreprise, une distinction entre le travail de développeur et l’ops.
Rien à dire sur ce point
Je recommande la formation
Nombre de sujets abordés
Il faudrait peut être un 4eme jours pour plus de pratique
Kafka Stream
Dans l’ensemble très bonne formation complète.
Formateur compétent, connait très bien son sujet
Un peu long sur 3 jours, beaucoup de théorie à assimiler
Cas de testen // à la formation théorique
Noter la formation
| 1980€ HT / personne |
| 3 jours (21 heures) |
