Formation Spark Streaming

0,0 rating
Logo Spark Streaming
2090€ HT / personne
3 jours (21 heures)
Paris | à distance | FNE
Il ne reste que quelques places
Option OFFERTE de classe virtuelle (40€/j en supplément)
Disponible en intra-entreprise pour former votre équipe

Présentation

Spark est un framework pour effectuer des calculs distribués sur un cluster d’ordinateurs. Cette formation présente la toute nouvelle version 3.0 sortie le 10 juin 2020, qui apporte un lot considérable de nouveautés ainsi qu’une amélioration impressionnante des performances !

Créé en 2009 à Berkeley, il est en train de devenir la plateforme « Big Data » privilégiée, qui remplace peu à peu l’écosystème Hadoop, grâce à des API unifiées en Java, Scala, Python, R qui le rendent très facile d’usage.

La formation présente les concepts avancés de Spark Streaming, de son intégration avec Kafka mais aussi toutes les bonnes pratiques pour réussir son déploiement en production. Les travaux pratiques sont réalisés en Scala (ou bien Python en option).

 

Objectifs

  • Manipuler des volumes importants de données en utilisant les bonnes pratiques de Spark Streaming
  • Comprendre les concepts avancés de la nouvelle API Spark Streaming v3
  • Intégrer et faire cohabiter Kafka avec Spark Streaming
  • Être capable d’utiliser Spark Streaming en production

 

Public visé

Développeurs, Data Engineer, Architectes, Administrateurs systèmes, DevOps

 

 

Pré-requis

  • Avoir idéalement suivi nos formations Spark ML ou Spark Tuning Avancé
  • Connaissances de base d’un système Unix
  • Connaissance de Scala, Git & Kafka

Programme de la formation Spark Streaming

 

Jour 1

Introduction à Spark (dans un context de streaming)

  • Architecture de Spark
  • Fonctionnement interne (Stage, Task, Scheduler …)
  • Batch vs Stream
  • Le modèle microbatch
  • API DStreams avec Scala

Structured Streaming

  • Introduction à l’API Structured Streaming.
  • API source
  • API Sink
  • API fonctionnelle
  • SQL streaming
  • Streaming des sources Json, Csv, Paquet
  • Calculer des agrégats en streaming

Jour 2

Introduction à apache Kafka

  • Fonctionnement interne ( Topic, partition, Offset …)
  • Producer
  • Consumers
  • Partitioning
  • Commit des offsets

Intégration Spark streaming avec Kafka

  • Streaming en Source et en Sink
  • Calculer des agrégats en temps réel
  • Jointure Stream-static et Stream-Stream
  • Watermarks
  • Windowing (tumbling, sliding, reduce…)

 

Jour 3

Streaming avec état (Stateful Streaming)

  • State store
  • Les opérateurs GroupState
  • Les timeouts

Spark streaming en production

  • State checkpointing et fault-tolerance.
  • Monitoring via Spark-UI
  • Tuning

Gestion des schémas avec Avro (Optionnelle + 1 jour sur demande)

Langues et Lieux disponibles

Langues

  • Français
  • Anglais / English

Lieux

  • France entière
    • Paris
    • Lille
    • Reims
    • Lyon
    • Toulouse
    • Bordeaux
    • Montpellier
    • Nice
    • Sophia Antipolis
    • Marseille
    • Aix-en-Provence
    • Nantes
    • Rennes
    • Strasbourg
    • Grenoble
    • Dijon
    • Tours
    • Saint-Étienne
    • Toulon
    • Angers
  • Belgique
    • Bruxelles
    • Liège
  • Suisse
    • Genève
    • Zurich
    • Lausanne
  • Luxembourg

Nos Formateurs Référents

Walid

Walid

Data et software engineer, Lead développeur Java / Scala, passionné par la data et les architectures distribués. Je m’intéresse particulièrement aux sujets suivants :

  • La programmation fonctionnelle / asynchrone réactive (Scala, Akka, Rx)
  • Les architectures distribuées et BigData (Spark, Hadoop, Kafka)
  • Machine Learning(SparkML, Scikit-learn, Deep Learning)
  • DevOps(Ansible, Docker, Cloud, Aws, Jenkins, CI/DC )
  • JVM(Profiling, Tuning GC)

Témoignages

Il n'y a pas encore de commentaires. Soyez le premier à en écrire un dans la section noter la formation !

Afficher tous les témoignages

Il n'y a pas encore de commentaires. Soyez le premier à en écrire un dans la section noter la formation !

Noter la formation
2090€ HT / personne
3 jours (21 heures)

Paris | à distance | FNE
Il ne reste que quelques places
Option OFFERTE de classe virtuelle (40€/j en supplément)
Disponible en intra-entreprise pour former votre équipe

Une question ? Un projet ?

Pour des informations complémentaires, n’hésitez pas à nous contacter.