Formation PySpark : traitez rapidement vos données en masse

Programme de notre formation PySpark

Présentation d’Hadoop

• Qu’est-ce qu’Hadoop ?
• Son rôle dans le Big Data
• Présentation de son architecture
• Comment Hadoop fonctionne ?
• Les modules principaux
  • HDFS
  • YARN
  • MapReduce
  • Hadoop Common

Présentation de Spark

• Spark vs Hadoop
• Les différences avec MapReduce
• Pourquoi utiliser Spark ?
• Les fonctionnalités
  • MLlib
  • Streaming
  • SQL
  • GraphX
• Comment fonctionne Spark ?
• Les ensembles de données
  • RDD
  • DataFrames
  • Data Sets

Comment installer Spark ?

• En local
• Sur une infrastructure distribuée
• Sur le Cloud
• Première interaction avec Spark

Spark SQL

• Introduction à Spark SQL
• Création de DataFrames
• Manipulation des DataFrames
• Chargement des données
• Stockage des données
• Différences entre l’API SQL et l’API dataframe
• Explication du fonctionnement de catalyst, et outils de diagnostique et debugging.

Utiliser PySpark

• Présentation de PySpark
• Utilisation de SparkSQL pour manipuler des données
• Charger des données de différents formats
• Transformer ses données
• TP : Chargement et transformation de données avec PySpark

L’API Pandas

• Installer Pandas
• Transform et apply
• Comment les types de données changent ?
• Les hints
• Les bonnes pratiques de développement

Spark.ml

• Apprentissage supervisé
• Random trees
• Créer des recommandations personnalisées
• Traitement de données textuelles
• Automatiser ses analyses avec des pipelines

Spark Streaming

• DStream
• Les sources de données
• Utiliser l’API
• Modifier des données

Troubleshooting

• Exceptions liées à l’absence de mémoire
• Échec répété de la tâche Spark
• Échec de la commande Spark Shell
• FileAlreadyExistsException
• Erreur « Too Large Frame »
• Les jobs Spark échouent à cause d’échecs de compilation