Formations BigData & NoSQL Formation Apache Kafka : Messagerie Distribuée

Formation Kafka

Noté 4.5 sur 5
Logo Formation Kafka
Prix 1980€ HT / personne
Durée 3 jours ( 21 heures )

Paris | à distance | FNE

Il ne reste que quelques places
NewCafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Je ne veux pas me déplacer ? Option classe virtuelle gratuite

Présentation

Les bénéfices de Kafka sont très nombreux par rapport à d’autres agents de message comme AMQP ou JMS. Apache Kafka est hautement scalable et durable, sa structure permet d’offrir un niveau de performance constant malgré l’utilisation de plusieurs térabits de messages stockés.

Dans cette formation pratique, vous apprendrez à construire une application qui peut publier des données sur un cluster Apache Kafka et s’abonner à celles-ci.

Vous découvrirez comment utiliser Kafka pour manipuler des pipelines de données, à maîtriser ses concepts, à utiliser les composants principaux, son architecture de base et à appeler ses API.

Outre le Core Kafka, le Kafka Connect et le Kafka Streams, la formation aborde également la plateforme Confluent, comme le Schema Registry et le REST Proxy.

Comme pour toutes nos formations, notre formation Kafka vous présentera sa toute dernière version et ses nouveautés (à la date de rédaction de l’article : Kafka 3.2 sortie le 21 septembre 2021).

 

Objectifs

  • Comprendre l’architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients
  • Publier et récupérer des données vers un cluster Kafka
  • Utiliser les outils et les API permettant l’interaction avec un cluster Kafka
  • Sécuriser les données à destination et en provenance d’un cluster Kafka
  • Créer vos propres Consumers et Producers
  • Implémenter un consumer mutli-thread
  • Utiliser un proxy REST
  • Stocker des données Avro dans Kafka avec le Schema Registry
  • Ingestion de données avec Kafka Connect

 

Public visé

  • Développeurs
  • Data Scientists
  • Architectes
  • Administrateurs système
  • DevOps

 

Pré-requis

  • Connaissances de base d’un système Unix
  • Connaissance dans un langage de développement moderne (Java, Python, Scala)

 

Pour aller plus loin

Programme de la formation Kafka

 

Introduction

  • Historique et complexité des systèmes
  • Le traitement en temps réel : une importance business
  • Kafka : Une plateforme de données de flux

 

Les fondamentaux

  • Un aperçu de Kafka et efficacité
  • Producers
  • Brokers
  • Consumers
  • Utilisation de ZooKeeper

 

Installation & Administration

  • Installation et options avancés
  • Considération matérielle (Hardware)
  • Administrer Kafka

 

Architecture

  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d’écriture et de lecture de Kafka
  • Partitions, Consumer Groups et Scalability

 

Développer avec Kafka

  • Utiliser Maven pour la gestion de projet
  • Accéder par programmation à Kafka
  • Écrire un Producer in Java
  • Utiliser REST API pour écrire un Producer
  • Écrire un Consumer en Java
  • Utiliser REST API pour écrire un Consumer

 

Développement avancé avec Kafka

  • Créer un Consumer Multi-Thread
  • Gestion des Offsets
  • Consumer Rebalancing (rééquilibrage)
  • Gestion manuelle des Offsets (Commits)
  • Partitionnement des données
  • Message Durability : gestion de la durée des messages

 

Nouveautés de la version Kafka 3.0

  • Nouvelles fonctionnalités de Kafka
  • Changement d’API
  • Amélioration de KRaft
  • Amélioration de métadonnées
  • Kafka Connect
  • Option de configuration MirrorMaker 2
  • Dépréciation de Java 8 et Scala 2.12 en Kafka

 

Schema Management

  • Introduction à Avro
  • Avro Schemas
  • Utilisation du Schema Registry

 

Kafka Connect : Data Movement

  • Cas d’utilisation de Kafka Connect
  • Les bases de Kafka Connect
  • Modes : Standalone and Distributed
  • Configuration du mode distribué
  • Tracking Offsets
  • Connector Configuration
  • Comparaison d’utilisation avec des options avancées

 

Kafka Streams

  • Cas d’utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux Fundamentals
  • Étude d’une application et usage de Kafka Streams

 

Tuning & Supervision avancé (Module Optionnel) – 2 jours

  • Log Compaction
  • Configuration Settings
    • Hardware and Capacity Planning
    • Traitement des Oversized Messages
  • Monitoring & Alerte
    • ZooKeeper and OS-Level Monitoring
    • Key Kafka Metrics
  • Cluster Administration
    • Key Cluster Administration Tasks
    • Replicating Clusters avec MirrorMaker
  • Kafka Security
    • SSL for Encryption and Authentication
    • SASL for Authentication
    • Authorization
    • Migration vers Secure Cluster

 

MODULE COMPLÉMENTAIRE EN ANGLAIS SUR DEMANDE (+2 JOURS) – KAFKA DEVELOPER

  • Training language : English
  • Course level : Beginner to intermediate

Théorie : 60% Pratique : 40%

Audience :
● Software Developers
● Data Engineers
● Architects

 

Getting Started

  • Kafka Overview
  • Kafka Basic Concepts
  • Zookeeper Overview

 

Developing with Kafka

  • First Kafka Producer (Java/Python)
  • Inside Kafka Producer
  • Advanced Kafka Producer (Java/Python)
  • First Kafka Consumer (Java/Python)
  • Inside Kafka Consumer
  • Advanced Kafka Consumer (Java/Python)

 

Replications and Reliability

  • Basic Replication Concepts
  • Recovery and Failures
  • Exactly Once Semantics (EOS)
  • Controller Broker
  • Inside Kafka Broker

 

Kafka Topic Management

  • Topic Basic Operations
  • Log Management
  • Designing Topics
  • Kafka Security

 

Kafka Connect

  • Kafka Connect Concepts
  • Types of Connectors
  • Kafka Connect Implementation
  • Standalone and Distributed Modes
  • Configuring the Connectors

 

Kafka Streams

  • Kafka Streams Concepts
  • First Kafka Stream (Java/Python)
  • Stateless KStreams
  • Stateful KStreams

 

MODULE COMPLÉMENTAIRE EN ANGLAIS SUR DEMANDE (+2 JOURS) – KAFKA OPERATIONS

  • Training language : English
  • Course level : Beginner to intermediate

Théorie : 60% Pratique : 40%

Audience :

  • Data Engineers
  • Architects
  • System Administrators
  • DevOps

 

Getting Started

  • Kafka Overview
  • Kafka Basic Concepts
  • Zookeeper Overview

 

Replications and Reliability

  • Basic Replication Concepts
  • Recovery and Failures
  • Exactly Once Semantics (EOS)
  • Controller Broker
  • Inside Kafka Broker
  • Inside Kafka Producer
  • Inside Kafka Consumer

 

Log Retention and Compaction

  • Retention
  • Compaction

 

Managing Kafka Cluster

  • Install and Configure Kafka
  • Monitor Kafka
  • Cluster Management
  • Scaling Kafka Cluster

 

Kafka Security

  • SSL for Encryption and Authentication
  • SASL for Authentication
  • Securing ZooKeeper
  • Securing Kafka Broker

 

Hardware and Settings

  • Cluster Sizing
  • Configuration Settings
  • Capacity Planning

 

Monitoring

  • Kafka Broker Metrics
  • Client Monitoring
  • Monitoring Tools

 

Architecture

  • Kafka Connect Overview
  • Kafka Streams Overview
  • Reference Architectures
  • Available Kafka Distributions

Formation Spark Streaming

Formation Spark Tuning Avancé

Formation Spark et Machine Learning

Formation Cassandra

Formation MongoDB

Formation PostgreSQL

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Cyril

Cyril

Enthousiaste, motivé et entrepreneur ! Il aime partager ses connaissances et interagir avec différentes équipes (développement, marketing, communication …). Les problèmes sont pour lui une source d’inspiration. Ils définissent des challenges et l’efforcent de trouver des solutions adéquates pour les résoudre.

Témoignages

Noté 5 sur 5
29 avril 2022

Formateur à l’écoute, propose des solutions aux problèmes rencontrés en entreprise, une distinction entre le travail de développeur et l’ops.
Rien à dire sur ce point

Liam L. de chez NEXTOO

Afficher tous les témoignages

Noté 5 sur 5
29 avril 2022

Formateur à l’écoute, propose des solutions aux problèmes rencontrés en entreprise, une distinction entre le travail de développeur et l’ops.
Rien à dire sur ce point

Liam L. de chez NEXTOO
Noté 4 sur 5
29 avril 2022

Je recommande la formation

Cyril L. de chez NEXTOO
Noté 5 sur 5
29 avril 2022

Nombre de sujets abordés
Il faudrait peut être un 4eme jours pour plus de pratique
Kafka Stream
Dans l’ensemble très bonne formation complète.

Hao L. de chez NEXTOO
Noté 4 sur 5
29 avril 2022

Formateur compétent, connait très bien son sujet
Un peu long sur 3 jours, beaucoup de théorie à assimiler

Alexis P. de chez NEXTOO
Noté 4 sur 5
29 avril 2022

Cas de testen // à la formation théorique

Jérome D. de chez NEXTOO
Noté 4 sur 5
29 avril 2022

Le formateur (Ahmed) est excellent, c’est un tueur.
Un peu dense au global. Sur 3,5j ou 4j peut être. Pour permettre plus de pratique aussi.

Charles R. de chez NEXTOO
Noté 4 sur 5
29 avril 2022

multitude de schémas et formation bien construite (suite logique des modules)
Pas mal de lignes de code de configuration qui peuvent être lourds mais finalement indispensable pour comprendre les concepts.

Lucas D. de chez NEXTOO
Noté 5 sur 5
29 avril 2022

Je recommande la formation

Aurélien G. de chez NEXTOO
Noté 5 sur 5
4 avril 2022

Je recommande la formation

Philippe M. de chez Orange Rennes
Noté 3 sur 5
30 mars 2022

Compétences du formateur.
Donne une bonne idée de ce qui peut être fait avec Kafka.
Mieux expliquer les concepts de base au début en les illustrant par des exemples d’utilisation ou d’usage concret.
Prérequis : déjà connaître un peu Kafka.
Préparer en amont les environnements pour dérouler le lab.

Thierry B. de chez Orange Rennes
Noté 4 sur 5
30 mars 2022

Formation qui aborde tous les concepts de Kafka, Kafka Streams, Kafka Connect
Quelques exercices en Java pour réaliser des Producer, Consumer et Streams
Peut-être besoin d’approfondir les use-cases auxquels répond Kafka et lesquels où il ne répond pas. Également savoir à partir de quel usage (volumétrie, nombre d’interconnexions) il est intéressant d’utiliser l’outil

Morgan B. de chez Orange Rennes
Noté 5 sur 5
30 mars 2022

Un focus sur le fonctionnement interne de Kafka et les points importants à configurer
Nous n’avons pas toujours dans les entreprises la capacité à déployer des outils. Il faudrait prévoir des labs clouds.

Denis S. de chez Orange Rennes
Noté 4 sur 5
30 mars 2022

Je recommande la formation

Jean-Marie C. de chez Orange Rennes
Noté 4 sur 5
30 mars 2022

Je recommande la formation

Aymeric P. de chez Orange Rennes
Noté 5 sur 5
30 mars 2022

Je recommande la formation

Alexandre L. de chez Orange Rennes
Noté 5 sur 5
30 mars 2022

Très bon niveau technique du formateur.

David R. de chez Orange Rennes
Noté 5 sur 5
16 décembre 2021

Bonne bases + vision globale qui va me permettre d’approfondir plus facilement quand le besoin sera présent au sein de ma mission
Une formation sur Elastic Search pourrait être utile dans les prochains mois

Alexandre P. de chez NEXTOO
Noté 3 sur 5
16 décembre 2021

– Petit groupe
– Réponses au cas par cas
– Formateur compétent
– Rappels au matin de la journée précédente
– Manque énormément de pratique
– Slide pas à jour avec kafka 2.8.1
– Slides sans dessins d’example => éviter de dessiner sur un bout d’écran puis effacer etc… sans parler que c’est illisible après coup
– Un bout du dernier TP est à faire en TDD sauf que pas possible sans changer la logique métier => pourquoi pas donner déjà les tests et demander de modifier le code pour les faire passer ?
– Utiliser un projet sur GIT qu’on peut fork pour les TPs (évite d’envoyer des bouts de code par mail)
Refaire le design des slides avec beaucoup de schéma plutôt que 36000 mots lâchés comme ça.

Mehdi A. de chez NEXTOO
Noté 4 sur 5
16 décembre 2021

– Très complète
– Le formateur !
Parfois très dense en informations, surtout la 2e journée

Yannick B. de chez NEXTOO
Noté 5 sur 5
16 décembre 2021

Je recommande la formation

Vivien C. de chez
Noté 4 sur 5
16 décembre 2021

Explications simples, et adaptées, exemples concrets.
Qualité sonore de la visio via gotomeeting
ElasticSearch

Sébastien L. de chez NEXTOO
Noté 5 sur 5
16 décembre 2021

Très complète pour les débutants
Un peu trop rapide sur les kafka streams

Marc-Alexis B. de chez NEXTOO
Noté 4 sur 5
16 décembre 2021

Je recommande la formation

Pierre M. de chez NEXTOO
Noté 4 sur 5
16 décembre 2021

Ahmed est très pédagogue et est disponible pour répondre aux questions.
Le support de formation très complet.
Formation très dense.
Manque peut être un peu de pratique (prévoir peut être plus de temps de formation)

Julien A. de chez NEXTOO
Noté 5 sur 5
27 octobre 2021

Formation très dense permettant de comprendre les point fort et les points sensibles
Pas assez de manipulations à mon goût
Le mélange entre les différents métiers (Dev et architectes pour notre session) complique les manipulations

Nicolas C. de chez BUDGETBOX
Noté 5 sur 5
27 octobre 2021

Ahmed est très disponible et précis dans ses réponses.

Florian F. de chez BUDGETBOX
Noté 4 sur 5
27 octobre 2021

Maitrise complète Kafka, explication claire de l’architecture KAFKA
Pour un novice java, pas facile de maitriser les classes

Samuel R. de chez AS 24
Noté 4 sur 5
27 octobre 2021

Formateur très pédagogue, à l’écoute et sachant s’adapter aux différents participants.
Concepts bien acquis
Merci Ahmed

Guillaume V. de chez CHRONOPOST
Noté 4 sur 5
24 mars 2021

La formation est riche et globale
Il manque des énoncés pour la partie TP
Non
RAS

Walid G. de chez SFR
Noté 5 sur 5
24 mars 2021

Bonne vue d’ensemble, bien rythmée, pré-requis compatible Desktop Linux
Manque un peu de temps… et aspects ops pas assez abordée (mais je ne savais pas que c’était axé dev)

Nicolas P. de chez Link Value
Noté 5 sur 5
16 décembre 2020

Je recommande la formation

Mathias B. de chez ECA
Noté 3 sur 5
16 décembre 2020

Les compétences du formateur, un véritable expert.
Cette formation s’adresse en fait aux développeurs java (version 8 min) expérimentés, ce qui n’est malheureusement pas mon cas.
J’ai été complètement largué pour la partie Kafka Streams, 100 % Java.
Pré-requis matériel (spécifique à la formation à distance) : un grand écran (minimum 24 pouces), pour voir le code via GoToMeeting
Pré-requis logiciel (spécifique à Kafka) : un vrai OS Linux (et non Windows Subsystem Linux, qui créé des dysfonctionnements), un IDE Java opérationnel.
Programme théorique : quelques mises à jour ? Comme retirer REST Proxy, par exemple.

Thierry B. de chez THIERRY BIARD
Noté 4 sur 5
16 décembre 2020

Très complet avec des cas pratiques
Beaucoup d’information sur 3 jours … il faut digérer

Jérôme T. de chez ECA
Noté 5 sur 5
23 octobre 2020

Je recommande la formation

Rémmi M. de chez SMILE - LYON
Noté 5 sur 5
23 octobre 2020

Je recommande la formation

Moussa N. de chez SMILE - MONTPELLIER
Noté 5 sur 5
23 octobre 2020

cas d’usages / pratique
100 % java

Gael C. de chez SMILE - MONTPELLIER
Noté 5 sur 5
23 octobre 2020

Je recommande la formation

Maxime G. de chez SMILE - LYON
Noté 5 sur 5
23 octobre 2020

Je recommande la formation

Rémi C. de chez SMILE - LYON
Noté 5 sur 5
23 octobre 2020

Je recommande la formation

Nicolas C. de chez SMILE - MONTPELLIER
Noté 5 sur 5
23 octobre 2020

Je recommande la formation

Maxime M. de chez SMILE - LYON
Noté 5 sur 5
17 avril 2019

Pas de difficultés sur les postes de travail pour faire fonctionner les outils.Merci Medhi.

Bruno de la poste

Noter la formation

Prix 1980€ HT / personne
Durée 3 jours ( 21 heures )

Paris | à distance | FNE

Il ne reste que quelques places
NewCafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Je ne veux pas me déplacer ? Option classe virtuelle gratuite

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp