Sélectionner une page
Formations Data Agent de messages Formation Apache Kafka : Messagerie Distribuée

Formation Kafka

Rated 4,4 out of 5
Logo Formation Kafka
Prix 1980€ HT / personne
Durée 3 jours (21 heures)
Parcours CPF

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

Présentation

Notre formation Kafka vous permettra de maitriser un système distribué hautement scalable et durable. Sa structure permet d’offrir un niveau de performance constant malgré l’utilisation de plusieurs térabits de messages stockés. C’est une solution adaptée aux exigeances de haute disponibilité.

Dans cette formation pratique, vous apprendrez à construire une application qui peut publier des données sur un cluster Apache Kafka et s’abonner à celles-ci. Vous y apprendrez à configurer une architecture distribuée en microservices.

Vous découvrirez comment utiliser Kafka pour manipuler des pipelines de données, à maîtriser ses concepts, à utiliser les composants principaux, son architecture de base et à appeler ses API.

Outre le Core Kafka, le Kafka Connect et le Kafka Streams, la formation aborde également la plateforme Confluent, comme le Schema Registry et le REST Proxy.

Comme pour toutes nos formations, notre formation Kafka vous présentera sa toute dernière version et ses nouveautés (à la date de rédaction de l’article : Kafka 3.6).

 

Objectifs

  • Comprendre l’architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients
  • Comprendre les principes de communications inter applications
  • Connaître les bonnes pratiques de distribution de messages
  • Configurer Kafka pour l’intégration de données de sources et de formats différents
  • Utiliser KSQL
  • Travailler en sécurité
  • Publier et récupérer des données vers un cluster Kafka
  • Utiliser les outils et les API permettant l’interaction avec un cluster Kafka
  • Sécuriser les données à destination et en provenance d’un cluster Kafka
  • Créer vos propres Consumers et Producers
  • Implémenter un consumer mutli-thread
  • Utiliser un proxy REST
  • Stocker des données Avro dans Kafka avec le Schema Registry
  • Ingestion de données avec Kafka Connect

 

Public visé

  • Développeurs
  • Data Scientists
  • Architectes
  • Administrateurs système
  • DevOps

 

Pré-requis

  • Connaissances de base d’un système Unix
  • Connaissance dans un langage de développement moderne (Java, Python, Scala)

 

Pré-requis logiciels (dans le cas d’une Intraentreprise)

 

RECOMMANDATIONS DE LECTURES AVANT LA FORMATION

Programme de la formation Kafka

 

Introduction

  • Historique et complexité des systèmes
  • Le traitement en temps réel : une importance business
  • Kafka : Une plateforme de données de flux

 

Les fondamentaux

  • Un aperçu de Kafka et efficacité
  • Producers
  • Brokers
  • Consumers
  • Utilisation de ZooKeeper

 

Installation & Administration

  • Installation et options avancés
  • Considération matérielle (Hardware)
  • Administrer Kafka

 

Architecture

  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d’écriture et de lecture de Kafka
  • Partitions, Consumer Groups et Scalability

 

Développer avec Kafka

  • Utiliser Maven pour la gestion de projet
  • Accéder par programmation à Kafka
  • Écrire un Producer in Java
  • Utiliser REST API pour écrire un Producer
  • Écrire un Consumer en Java
  • Utiliser REST API pour écrire un Consumer

 

Développement avancé avec Kafka

  • Créer un Consumer Multi-Thread
  • Gestion des Offsets
  • Consumer Rebalancing (rééquilibrage)
  • Gestion manuelle des Offsets (Commits)
  • Partitionnement des données
  • Message Durability : gestion de la durée des messages

 

Nouveautés de la version Kafka 3.0

  • Nouvelles fonctionnalités de Kafka
  • Changement d’API
  • Amélioration de KRaft
  • Amélioration de métadonnées
  • Kafka Connect
  • Option de configuration MirrorMaker 2
  • Dépréciation de Java 8 et Scala 2.12 en Kafka

 

Schema Management

  • Introduction à Avro
  • Avro Schemas
  • Utilisation du Schema Registry

 

Kafka Connect : Data Movement

  • Cas d’utilisation de Kafka Connect
  • Les bases de Kafka Connect
  • Modes : Standalone and Distributed
  • Configuration du mode distribué
  • Tracking Offsets
  • Connector Configuration
  • Comparaison d’utilisation avec des options avancées

 

Kafka Streams

  • Cas d’utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux Fundamentals
  • Étude d’une application et usage de Kafka Streams

 

Tuning & Supervision avancé (Module Optionnel) – 2 jours

  • Log Compaction
  • Configuration Settings
    • Hardware and Capacity Planning
    • Traitement des Oversized Messages
  • Monitoring & Alerte
    • ZooKeeper and OS-Level Monitoring
    • Key Kafka Metrics
  • Cluster Administration
    • Key Cluster Administration Tasks
    • Replicating Clusters avec MirrorMaker
  • Kafka Security
    • SSL for Encryption and Authentication
    • SASL for Authentication
    • Authorization
    • Migration vers Secure Cluster

 

MODULE COMPLÉMENTAIRE EN ANGLAIS SUR DEMANDE (+2 JOURS) – KAFKA DEVELOPER

  • Training language : English
  • Course level : Beginner to intermediate

Théorie : 60% Pratique : 40%

Audience :
● Software Developers
● Data Engineers
● Architects

 

Getting Started

  • Kafka Overview
  • Kafka Basic Concepts
  • Zookeeper Overview

 

Developing with Kafka

  • First Kafka Producer (Java/Python)
  • Inside Kafka Producer
  • Advanced Kafka Producer (Java/Python)
  • First Kafka Consumer (Java/Python)
  • Inside Kafka Consumer
  • Advanced Kafka Consumer (Java/Python)

 

Replications and Reliability

  • Basic Replication Concepts
  • Recovery and Failures
  • Exactly Once Semantics (EOS)
  • Controller Broker
  • Inside Kafka Broker

 

Kafka Topic Management

  • Topic Basic Operations
  • Log Management
  • Designing Topics
  • Kafka Security

 

Kafka Connect

  • Kafka Connect Concepts
  • Types of Connectors
  • Kafka Connect Implementation
  • Standalone and Distributed Modes
  • Configuring the Connectors

 

Kafka Streams

  • Kafka Streams Concepts
  • First Kafka Stream (Java/Python)
  • Stateless KStreams
  • Stateful KStreams

FAQ – QUESTIONS / RÉPONSES

La formation est-elle dispensée en présentiel ou à distance ?

Cette formation se déroule en présentiel ou en distanciel.

Qu'est-ce que le CPF ?

Le CPF (Compte Personnel de Formation) est un dispositif régit par l’état français pour permettre aux salariés de disposer d’un financement mobilisable uniquement pour la formation.

Pourquoi suivre une formation éligible au CPF ?

Pour profiter des nombreux avantages qu’offre le CPF :

Une formation finançable jusqu’à 100%
Une formation de qualité approuvée par l’instance gouvernementale France Compétences
L’obtention d’une certification délivrée par France Compétences

Que dois-je faire si mon solde CPF n’est pas suffisant ?

Contactez-nous ! Nos conseillers peuvent vous aider à trouver des sources de financement complémentaires en fonction de votre situation, tels que Pôle emploi, votre entreprise, vous-même (via carte bleue), ou encore l’OPCO Atlas.

Comment m'inscrire via moncompteformation ?

Il suffit de cliquer sur le bandeau vert «CPF» à droite de l’écran (ou en haut si vous utilisez un mobile). Vous devrez ensuite sélectionner une date de session depuis le site MonCompteFormation.

Comment augmenter son solde CPF ?

Vous êtes crédités à la fin de chaque année travaillée sur votre compte Moncompteformation. Vous pouvez recevoir jusqu’à 500 euros par an. Le plafond est fixé à 5 000€ sauf pour des cas spécifiques où la limite atteint 8 000€..

Les cas spécifiques où le plafond est fixé à 8 000€ :

  • Salarié non qualifié
  • Travailleur reconnu handicapé
  • Victime d’accident du travail ou de maladie professionnelle ayant entraîné une incapacité permanente d’au moins de 10 %
  • Bénéficiaire d’une pension d’invalidité
  • Bénéficiaire d’une pension militaire
  • Bénéficiaire d’une allocation ou rente d’invalidité des sapeurs-pompiers volontaires
  • Bénéficiaire de la carte mobilité inclusion portant la mention « invalidité »
  • Bénéficiaire de l’allocation aux adultes handicapés (AAH)

Que dois-je faire si mon solde CPF n’est pas suffisant ?

Contactez-nous ! Nos conseillers peuvent vous aider à trouver des sources de financement complémentaires en fonction de votre situation, tels que Pôle emploi, votre entreprise, vous-même (via carte bleue), ou encore l’OPCO Atlas.

Comment puis-je financer cette formation ?

Contactez-nous pour trouver une solution de financement sur mesure ! Nous vous aiderons à choisir parmi les options suivantes :

  • OPCO (opérateurs de compétences) de votre entreprise
    • Le plan de développement des compétences
    • Les actions collectives pour les formations Big Data
    • Le dispositif FNE-Formation
    • Dispositif TPE / PME
  • Pôle Emploi
    • L’AIF (Aide Individuelle à la Formation pour les demandeurs d’emploi)
    • L’ARE (Allocation chômage d’aide au retour à l’emploi)
  • Le dispositif CPF (MonCompteformation)
  • Contrat cadre

Pour aller plus loin

Formation Kafka Administration

Formation Spark Tuning Avancé

Formation Spark et Machine Learning

Formation Cassandra

Formation Spark Streaming

Formation PostgreSQL

Autour du sujet

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Cyril

Cyril

Enthousiaste, motivé et entrepreneur ! Il aime partager ses connaissances et interagir avec différentes équipes (développement, marketing, communication …). Les problèmes sont pour lui une source d’inspiration. Ils définissent des challenges et l’efforcent de trouver des solutions adéquates pour les résoudre.

Témoignages

Rated 5,0 out of 5
19 janvier 2024

Les + : Partie pratique

Reda O. de chez NEXTOO

Afficher tous les témoignages

Rated 5,0 out of 5
19 janvier 2024

Les + : Partie pratique

Reda O. de chez NEXTOO
Rated 4,0 out of 5
19 janvier 2024

Les + : Mise en pratique via des Workshops

Les – : Présentations théoriques un peu longues au début

Johann H. de chez NEXTOO
Rated 4,0 out of 5
19 janvier 2024

Les + : formateur à l’écoute, bonne répartition entre la théorie et la pratique

Célia O. de chez NEXTOO
Rated 0,0 out of 5
19 janvier 2024

Je recommande la formation

Théo T. de chez NEXTOO
Rated 4,0 out of 5
13 décembre 2023

Je recommande la formation

Stéphan K. de chez METROBUS
Rated 4,0 out of 5
13 décembre 2023

Les + : Le formateur était à l’écoute et a pu l’adapter à nos demandes

Les – : On manque toujours de temps et certaines notions n’ont pu être que survoler.

Amine A. de chez FNAC DARTY PARTICIPATIONS ET SERVICES
Rated 5,0 out of 5
13 décembre 2023

Les + : Mise en œuvre d’un cluster complet en partant de zéro, tests progressif du cluster et création de clients pour produire et consommer des messages en mode itératif.

Les – : Le système de signature à la souris !

Alexis L. de chez FNAC DARTY PARTICIPATIONS ET SERVICES
Rated 4,0 out of 5
13 décembre 2023

Les + : Tarik le formateur maîtrise très bien son sujet et est très à l’écoute.

Les – : Le contenu est dense. Mériterait peut-être un 4ème jour pour tout voir.

Antoine L. de chez FNAC DARTY PARTICIPATIONS ET SERVICES
Rated 5,0 out of 5
4 octobre 2023

Les + : prise en compte des niveaux différents des apprenants, contenus adaptés en fonction des besoins et connaissances des apprenants

Amsatou G. de chez Sopra Banking Software
Rated 4,0 out of 5
4 octobre 2023

Les + : Permet de bien comprendre les concepts de base de kafka. Bon équilibre théorie pratique

Les – : beaucoup de choses à voir donc on n’a pas eu le temps de tout faire (avro par exemple)

En synthèse : Merci à Tariq !

Stéphanie G. de chez ORANGE BUSINESS SERVICES SA
Rated 4,0 out of 5
4 octobre 2023

Les + : Bon équilibre entre théorie et pratique ; peu d’étudiants (3), donc contexte d’apprentissage très favorable, suivi personnalisé

Les – : La caméra active pendant toute la formation, c’est pas top pour les introvertis ; )

Matthieu S. de chez MY MONEY BANK
Rated 5,0 out of 5
20 janvier 2023

Les + : Formateur avec une expérience sur le terrain et de bons REX.

En synthèse : De formateur à formateur, piste d’amélioration:

– Peut être passer voir ce que font chacun pendant les TP, et voir si pas de bloquage / si choses intéressante a présenter a tout le monde

– envoyer un zip « corrigé » à la fin au cas où certains n’ai pas réussi

– continuer comme ca 😉

Olivier D. de chez NEXTOO

Noter la formation

Prix 1980€ HT / personne
Durée 3 jours (21 heures)
Parcours CPF

Paris | Classe Virtuelle

Il ne reste que quelques places
Cafés et déjeuners offerts en interentreprises
Disponible en intra-entreprise pour former votre équipe
Aide au Financement 4000€ de Bonus Atlas en CPF

UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?

Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.

ILS SE SONT FORMÉS CHEZ NOUS

partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp
partenaire sncf
partenaire hp
partenaire allianz
partenaire sfr
partenaire engie
partenaire boursorama
partenaire invivo
partenaire orange
partenaire psa
partenaire bnp