| 1980€ HT / personne |
| 3 jours ( 21 heures ) |
Présentation
Dans cette formation pratique, vous apprendrez à construire une application qui peut publier des données sur un cluster Apache Kafka et s’abonner à celles-ci. Vous apprendrez à utiliser Kafka pour manipuler les pipelines de données, à maîtriser ses concepts, à utiliser les composants principaux et l’architecture de base de Kafka et à appeler ses API. Outre le Core Kafka, le Kafka Connect et le Kafka Streams, la formation aborde également la plateforme Confluent, comme le Schema Registry et le REST Proxy.
Comme pour toutes nos formations, celle-ci vous présentera la toute dernière version de Kafka et les nouveautés de la 3 (à la date de rédaction de l’article : Kafka 3.0 sortie le 21 septembre 2021).
Objectifs
- Comprendre l’architecture de Kafka et son mode de fonctionnement dans un contexte multi-clients
- Publier et récupérer des données vers un cluster Kafka
- Utiliser les outils et les API permettant l’interaction avec un cluster Kafka
- Sécuriser les données à destination et en provenance d’un cluster Kafka
- Créer vos propres Consumers et Producers
- Implémenter un consumer mutli-thread
- Utiliser un proxy REST
- Stocker des données Avro dans Kafka avec le Schema Registry
- Ingestion de données avec Kafka Connect
Public visé
Développeurs, Data Scientists, Architectes, Administrateurs système, DevOps.
Pré-requis
- Connaissances de base d’un système Unix
- Connaissance dans un langage de développement moderne (Java, Python, Scala)
Pour aller plus loin
Programme de la formation Kafka
Introduction
- Historique et complexité des systèmes
- Le traitement en temps réel : une importance business
- Kafka : Une plateforme de données de flux
Les fondamentaux
- Un aperçu de Kafka et efficacité
- Producers
- Brokers
- Consumers
- Utilisation de ZooKeeper
Installation & Administration
- Installation et options avancés
- Considération matérielle (Hardware)
- Administrer Kafka
Architecture
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d’écriture et de lecture de Kafka
- Partitions, Consumer Groups et Scalability
Développer avec Kafka
- Utiliser Maven pour la gestion de projet
- Accéder par programmation à Kafka
- Écrire un Producer in Java
- Utiliser REST API pour écrire un Producer
- Écrire un Consumer en Java
- Utiliser REST API pour écrire un Consumer
Développement avancé avec Kafka
- Créer un Consumer Multi-Thread
- Gestion des Offsets
- Consumer Rebalancing (rééquilibrage)
- Gestion manuelle des Offsets (Commits)
- Partitionnement des données
- Message Durability : gestion de la durée des messages
Nouveautés de la version Kafka 3.0
- Nouvelles fonctionnalités de Kafka
- Changement d’API
- Amélioration de KRaft
- Amélioration de métadonnées
- Kafka Connect
- Option de configuration MirrorMaker 2
- Dépréciation de Java 8 et Scala 2.12 en Kafka
Schema Management
- Introduction à Avro
- Avro Schemas
- Utilisation du Schema Registry
Kafka Connect : Data Movement
- Cas d’utilisation de Kafka Connect
- Les bases de Kafka Connect
- Modes : Standalone and Distributed
- Configuration du mode distribué
- Tracking Offsets
- Connector Configuration
- Comparaison d’utilisation avec des options avancées
Kafka Streams
- Cas d’utilisation de Kafka Streams
- Kafka Streams : les fondamentaux Fundamentals
- Étude d’une application et usage de Kafka Streams
Tuning & Supervision avancé (Module Optionnel) – 2 jours
- Log Compaction
- Configuration Settings
- Hardware and Capacity Planning
- Traitement des Oversized Messages
- Monitoring & Alerte
- ZooKeeper and OS-Level Monitoring
- Key Kafka Metrics
- Cluster Administration
- Key Cluster Administration Tasks
- Replicating Clusters avec MirrorMaker
- Kafka Security
- SSL for Encryption and Authentication
- SASL for Authentication
- Authorization
- Migration vers Secure Cluste
MODULE COMPLÉMENTAIRE EN ANGLAIS SUR DEMANDE (+2 JOURS) – KAFKA DEVELOPER
- Training language : English
- Course level : Beginner to intermediate
Théorie : 60% Pratique : 40%
Audience :
● Software Developers
● Data Engineers
● Architects
Getting Started
- Kafka Overview
- Kafka Basic Concepts
- Zookeeper Overview
Developing with Kafka
- First Kafka Producer (Java/Python)
- Inside Kafka Producer
- Advanced Kafka Producer (Java/Python)
- First Kafka Consumer (Java/Python)
- Inside Kafka Consumer
- Advanced Kafka Consumer (Java/Python)
Replications and Reliability
- Basic Replication Concepts
- Recovery and Failures
- Exactly Once Semantics (EOS)
- Controller Broker
- Inside Kafka Broker
Kafka Topic Management
- Topic Basic Operations
- Log Management
- Designing Topics
- Kafka Security
Kafka Connect
- Kafka Connect Concepts
- Types of Connectors
- Kafka Connect Implementation
- Standalone and Distributed Modes
- Configuring the Connectors
Kafka Streams
- Kafka Streams Concepts
- First Kafka Stream (Java/Python)
- Stateless KStreams
- Stateful KStreams
MODULE COMPLÉMENTAIRE EN ANGLAIS SUR DEMANDE (+2 JOURS) – KAFKA OPERATIONS
- Training language : English
- Course level : Beginner to intermediate
Théorie : 60% Pratique : 40%
Audience :
- Data Engineers
- Architects
- System Administrators
- DevOps
Getting Started
- Kafka Overview
- Kafka Basic Concepts
- Zookeeper Overview
Replications and Reliability
- Basic Replication Concepts
- Recovery and Failures
- Exactly Once Semantics (EOS)
- Controller Broker
- Inside Kafka Broker
- Inside Kafka Producer
- Inside Kafka Consumer
Log Retention and Compaction
- Retention
- Compaction
Managing Kafka Cluster
- Install and Configure Kafka
- Monitor Kafka
- Cluster Management
- Scaling Kafka Cluster
Kafka Security
- SSL for Encryption and Authentication
- SASL for Authentication
- Securing ZooKeeper
- Securing Kafka Broker
Hardware and Settings
- Cluster Sizing
- Configuration Settings
- Capacity Planning
Monitoring
- Kafka Broker Metrics
- Client Monitoring
- Monitoring Tools
Architecture
- Kafka Connect Overview
- Kafka Streams Overview
- Reference Architectures
- Available Kafka Distributions
Formation Spark Streaming
Formation Spark Tuning Avancé
Formation Spark et Machine Learning
Formation Cassandra
Formation MongoDB
Formation PostgreSQL
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Cyril
Témoignages
Bonne bases + vision globale qui va me permettre d’approfondir plus facilement quand le besoin sera présent au sein de ma mission
Une formation sur Elastic Search pourrait être utile dans les prochains mois
Afficher tous les témoignages
Bonne bases + vision globale qui va me permettre d’approfondir plus facilement quand le besoin sera présent au sein de ma mission
Une formation sur Elastic Search pourrait être utile dans les prochains mois
– Petit groupe
– Réponses au cas par cas
– Formateur compétent
– Rappels au matin de la journée précédente
– Manque énormément de pratique
– Slide pas à jour avec kafka 2.8.1
– Slides sans dessins d’example => éviter de dessiner sur un bout d’écran puis effacer etc… sans parler que c’est illisible après coup
– Un bout du dernier TP est à faire en TDD sauf que pas possible sans changer la logique métier => pourquoi pas donner déjà les tests et demander de modifier le code pour les faire passer ?
– Utiliser un projet sur GIT qu’on peut fork pour les TPs (évite d’envoyer des bouts de code par mail)
Refaire le design des slides avec beaucoup de schéma plutôt que 36000 mots lâchés comme ça.
– Très complète
– Le formateur !
Parfois très dense en informations, surtout la 2e journée
Je recommande la formation
Explications simples, et adaptées, exemples concrets.
Qualité sonore de la visio via gotomeeting
ElasticSearch
Noter la formation
| 1980€ HT / personne |
| 3 jours ( 21 heures ) |
