Formation Machine Learning distribué avec Spark ML

Programme de notre formation Machine Learning distribué avec Spark ML

[Jour 1 – Matin]

Architecture de Spark MLlib et Pipelines

• Comprendre l’architecture distribuée de MLlib
• Maîtriser les DataFrames pour le ML
• Concepts clés : Transformers, Estimators et Pipelines
• Gestion des types de données (Vector, Dense, Sparse)
• Sérialisation et persistance des workflows
• Atelier pratique : Mise en place d’un pipeline complet de classification.

[Jour 1 – Après-midi]

Préparation et Feature Engineering à l’échelle

• Nettoyage et imputation de données distribuées
• Encodage : StringIndexer, OneHotEncoder
• Assemblage de caractéristiques avec VectorAssembler
• Réduction de dimensionnalité (PCA) et sélection de variables
• Standardisation et mise à l’échelle (MinMaxScaler, StandardScaler)
• Atelier pratique : Préparation d’un dataset massif pour l’entraînement.

Algorithmes de Régression et Classification

• Régression Linéaire et Logistique distribuée
• Arbres de décision et ensembles (Random Forest, GBT)
• Évaluation multi-classe et gestion du déséquilibre
• Interprétabilité des modèles en environnement distribué
• Analyse des résidus et des erreurs de prédiction
• Atelier pratique : Entraînement et comparaison de modèles de classification.

[Jour 2 – Matin]

Clustering et Systèmes de Recommandation

• Apprentissage non-supervisé avec K-means
• Bisecting K-means et Gaussian Mixture Models
• Filtrage collaboratif avec ALS (Alternative Least Squares)
• Mesures de similarité à grande échelle
• Optimisation des recommandations à froid (Cold Start)
• Atelier pratique : Création d’un moteur de recommandation distribué.

[Jour 2 – Après-midi]

Optimisation des performances ML

• Impact du Shuffling sur les performances d’entraînement
• Stratégies de Caching et de Checkpointing
• Partitionnement des données et parallélisme des tâches
• Monitoring via la Spark UI et détection des bottlenecks
• Gestion des ressources mémoire pour les gros modèles
• Atelier pratique : Audit et optimisation d’un job ML lent.

Tuning et Sélection de Modèles

• Validation croisée distribuée (Cross-Validation)
• Recherche par grille avec ParamGridBuilder
• Optimisation des hyperparamètres et métriques de succès
• BinaryClassificationEvaluator vs MulticlassClassificationEvaluator
• Sauvegarde et export des meilleurs modèles
• Atelier pratique : Tuning fin d’un modèle pour maximiser la précision.

[Jour 3 – Matin]

NLP et Text Mining à grande échelle

• Prétraitement de texte : Tokenizer, StopWordsRemover
• Représentation vectorielle : TF-IDF et Word2Vec
• Analyse de sentiments et classification de texte
• Utilisation des N-grams pour le contexte
• Architectures NLP avec Spark
• Atelier pratique : Analyse sémantique sur un flux de données textuelles.

[Jour 3 – Après-midi]

Industrialisation et MLOps

• Cycle de vie du modèle avec MLflow (Tracking, Registry)
• Persistance au format ML et portabilité
• Inférence en mode Batch vs Inférence en mode Stream
• Introduction à Spark Serving et architectures temps réel
• Suivi de la dérive (drift) des modèles en production
• Atelier pratique : Tracking d’expériences et déploiement d’un modèle.

Cas pratiques et Projet de synthèse

• Conception d’une architecture ML de bout en bout
• Choix des algorithmes selon la volumétrie et la latence
• Automatisation du pipeline d’entraînement
• Bonnes pratiques de production (CI/CD pour le ML)
• Checklist de mise en service
• Atelier pratique : Projet final – Industrialisation d’une problématique métier complexe.