Formation Spark Tuning Avancé

Présentation

Créé en 2009 à Berkeley, Spark est en train de devenir la plateforme « Big Data » privilégiée, qui remplace peu à peu l’écosystème Hadoop, grâce à des API unifiées en Java, Scala, Python, RDD qui le rendent très facile d’usage.

Après une introduction au langage Scala, et une explication de Spark, nous étudierons l’api RDD, les dataframes, le Spark Streaming. Nous verrons ensuite Spark en production et finirons sur une introduction au Machine Learning. À chaque fois des exercices pratiques sur des clusters de machines avec des datasets significatifs permettront d’assimiler par la pratique les concepts présentés.

Comme toutes nos formations, celle-ci vous présentera la dernière version stable en date (Spark 2.3.2 à la date de l’article).

Objectifs

• Être capable d’installer et d’utiliser Spark 2 et ses nouveautés de manière autonome
• Être capable d’utiliser Scala comme langage principal dans Spark
• Comprendre et optimiser les dataframes
• Appréhender le tuning sur Spark en production en utilisant les bonnes pratiques

Public visé

Pré-requis

• Connaissances de base d’un système Unix
• Connaissance de Python