Formation deep Learning avec PyTorch

Programme de notre formation Deep Learning avec PyTorch

[Jour 1 – Matin]

Fondamentaux de PyTorch et Tensors

• Comprendre l’écosystème PyTorch et ses avantages
• Manipulation des Tensors : création, opérations et broadcasting
• Le moteur d’autodifférenciation : Autograd
• Gestion des périphériques (CPU vs GPU/CUDA)
• Introduction au module torch.nn
• Atelier pratique : Implémentation d’une régression linéaire “from scratch” avec Autograd.

[Jour 1 – Après-midi]

Construction de réseaux de neurones (MLP)

• Structure d’un Module PyTorch : méthode __init__ et forward
• Fonctions d’activation (ReLU, Sigmoid, Softmax)
• Initialisation des poids et biais
• Les couches denses (Linear layers)
• Architecture des réseaux de neurones multi-couches
• Atelier pratique : Création d’un Perceptron Multicouche pour la classification de données tabulaires.

Entraînement et Boucles d’optimisation

• Choix des fonctions de coût (Loss Functions)
• Algorithmes d’optimisation (SGD, Adam, RMSprop)
• Cycle d’entraînement : Forward pass, Loss calculation, Backward pass, Optimizer step
• Suivi des métriques de performance
• Gestion des DataLoaders et Datasets
• Atelier pratique : Entraînement complet d’un modèle sur le dataset MNIST.

[Jour 2 – Matin]

Deep Learning pour la Vision (CNN)

• Principes des réseaux de neurones convolutifs (CNN)
• Couches de convolution, pooling et dropout
• Architectures célèbres (ResNet, VGG) et Transfer Learning
• Augmentation de données avec torchvision
• Fine-tuning de modèles pré-entraînés
• Atelier pratique : Classification d’images avec un modèle CNN personnalisé et pré-entraîné.

[Jour 2 – Après-midi]

Optimisation et Régularisation

• Prévenir le sur-apprentissage (Overfitting)
• Techniques de Batch Normalization
• Stratégies de Learning Rate Scheduling
• Utilisation de TensorBoard ou Weights & Biases pour la visualisation
• Sauvegarde et chargement de modèles (state_dict)
• Atelier pratique : Optimisation d’un modèle complexe et visualisation de la convergence.

Débogage et Profiling

• Identifier les problèmes de gradients (vanishing/exploding)
• Vérification des dimensions des Tensors
• Utilisation des hooks PyTorch pour inspecter les couches
• Profiling des performances mémoire et calcul
• Atelier pratique : Session de débogage sur une architecture volontairement défaillante.

[Jour 3 – Matin]

Introduction aux modèles Séquentiels et Transformers

• Réseaux récurrents (RNN, LSTM, GRU)
• Mécanismes d’Attention
• Introduction à l’architecture Transformer
• Utilisation de la bibliothèque Hugging Face avec PyTorch
• Applications au NLP (Traitement du langage naturel)
• Atelier pratique : Analyse de sentiments ou génération de texte simple.

[Jour 3 – Après-midi]

Déploiement et Industrialisation

• Optimisation des modèles pour l’inférence
• Conversion vers TorchScript et ONNX
• Introduction à TorchServe pour le service de modèles
• Quantification et élagage (Pruning) de modèles
• Bonnes pratiques MLOps avec PyTorch
• Atelier pratique : Export d’un modèle et simulation d’une API d’inférence.

Projet de synthèse final

• Définition d’une problématique métier
• Choix et conception de l’architecture
• Entraînement optimisé et évaluation rigoureuse
• Présentation des résultats et pistes d’amélioration
• Atelier pratique : Challenge final de groupe sur un dataset réel.