Formation Kafka

Logo Formation Kafka

1900€

1710€HT/ personne

3 jours (21 heures)

Interentreprises

­Paris

Disponible en intraentreprise pour former votre équipe.

Présentation

Dans cette formation pratique, vous apprendrez à construire une application qui peut publier des données sur un cluster Apache Kafka et s’abonner à celles-ci. Vous apprendrez à utiliser Kafka pour manipuler les pipelines de données, à maîtriser ses concepts, à utiliser les composants principaux et l’architecture de base de Kafka et à appeler ses API. Outre le Core Kafka, le Kafka Connect et le Kafka Streams, la formation aborde également la plateforme Confluent, comme le Schema Registry et le REST Proxy.

Comme pour toutes nos formations, celle-ci vous présentera la toute dernière version de Kafka (à la date de rédaction de l’article : Kafka 2.0.0).

 

Objectifs

  • Comprendre l’architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients
  • Publier et récupérer des données vers un cluster Kafka
  • Utiliser les outils et les API permettant l’interaction avec un cluster Kafka
  • Sécuriser les données à destination et en provenance d’un cluster Kafka
  • Créer vos propres Consumers et Producers
  • Implémenter un consumer mutli-thread
  • Utiliser un proxy REST
  • Stocker des données Avro dans Kafka avec le Schema Registry
  • Ingestion de données avec Kafka Connect

 

Public visé

Développeurs, Data Scientists, Architectes, Administrateurs systèmes, DevOps

 

Pré-requis

  • Connaissances de base d’un système Unix
  • Connaissance dans un langage de développement moderne (Java, Python, Scala)

Programme de la formation Kafka

Introduction

  • Historique et complexité des systèmes
  • Le traitement en temps réel : une importance business
  • Kafka: Une plateforme de données de flux

 

Les fondamentaux

  • Un aperçu de Kafka et efficacité
  • Producers
  • Brokers
  • Consumers
  • Utilisation de ZooKeeper

 

Architecture

  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d’écriture et de lecture de Kafka
  • Partitions, Consumer Groups et Scalability

 

Développer avec Kafka

  • Utiliser Maven pour la gestion de projet
  • Accéder par programmation à Kafka
  • Écrire un Producer in Java
  • Utiliser REST API pour écrire un Producer
  • Écrire un Consumer en Java
  • Utiliser REST API pour écrire un Consumer

 

Développement avancé avec Kafka

  • Créer un Consumer Multi-Thread
  • Gestion des Offsets
  • Consumer Rebalancing (rééquilibrage)
  • Gestion manuelle des Offsets (Commits)
  • Partionnement des données
  • Message Durability : gestion de la durée des messages

 

Schema Management

  • Introduction à Avro
  • Avro Schemas
  • Utilisation du Schema Registry

 

Kafka Connect : Data Movement

  • Cas d’utilisation de Kafka Connect
  • Les bases de Kafka Connect
  • Modes : Standalone and Distributed
  • Configuration du mode distribué
  • Tracking Offsets
  • Connector Configuration
  • Comparaison d’utilisation avec des options avancées

 

Installation & Administration

  • Installation et options
  • Considération matérielle (Hardware)
  • Administrer Kafka

 

Kafka Streams

  • Cas d’utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux Fundamentals
  • Étude d’une application et usage de Kafka Streams

 

Tuning & Supervision avancé (Module Optionnel) – 2 jours

  • Log Compaction
  • Configuration Settings
    • Hardware and Capacity Planning
    • Traitement des Oversized Messages
  • Monitoring & Alerte
    • ZooKeeper and OS-Level Monitoring
    • Key Kafka Metrics
  • Cluster Administration
    • Key Cluster Administration Tasks
    • Replicating Clusters avec MirrorMaker
  • Kafka Security
    • SSL for Encryption and Authentication
    • SASL for Authentication
    • Authorization
    • Migration vers Secure Cluster
Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Cyril

Cyril

Enthousiaste, motivé et entrepreneur ! Il aime partager ses connaissances et interagir avec différentes équipes (développement, marketing, communication …). Les problèmes sont pour lui une source d’inspiration. Ils définissent des challenges et l’efforcent de trouver des solutions adéquates pour les résoudre.

Témoignages

Donnez votre avis ?

Afficher tous les témoignages

Donnez votre avis ?

Noter la formation

1900€

1710€HT/ personne

3 jours (21 heures)

Interentreprises

­Paris

Disponible en intraentreprise pour former votre équipe.

Une question ? Un projet ?

Pour des informations complémentaires, n’hésitez pas à nous contacter.