Formation PyTorch avancé

Programme de notre formation PyTorch avancé

[Jour 1 – Matin]

Profiler et diagnostiquer les performances PyTorch

• Analyser les performances CPU et GPU avec PyTorch Profiler
• Identifier les goulets d’étranglement liés au calcul, aux transferts et aux entrées/sorties
• Analyser l’utilisation et l’allocation de la mémoire GPU
• Diagnostiquer les problèmes de gradients, synchronisations et opérations coûteuses
• Utiliser les hooks et outils de debugging pour inspecter l’exécution des modèles
• Atelier pratique : profiler un modèle pré-entraîné, identifier ses principaux goulets d’étranglement et proposer un plan d’optimisation.

[Jour 1 – Après-midi]

Accélérer les modèles avec torch.compile et TorchInductor

• Comprendre le fonctionnement de torch.compile et de la compilation de graphes PyTorch
• Découvrir le rôle de TorchInductor dans l’optimisation de l’exécution
• Identifier et diagnostiquer les graph breaks et recompilations
• Comparer les différents modes de compilation selon les contraintes de performance
• Mesurer les gains de compilation sur l’entraînement et l’inférence
• Atelier pratique : compiler un modèle, analyser les graph breaks puis mesurer les gains obtenus par rapport à l’exécution eager.

[Jour 2 – Matin]

Optimiser l’entraînement, la mémoire et les pipelines de données

• Mettre en œuvre le Mixed Precision Training pour réduire la consommation mémoire et accélérer les calculs
• Comprendre les formats numériques et arbitrer entre précision, stabilité et performance
• Optimiser les Dataset et DataLoader : workers, prefetching, pinned memory et transferts vers le GPU
• Réduire les copies, synchronisations et allocations mémoire inutiles
• Diagnostiquer les problèmes de gradients et stabiliser l’entraînement de modèles complexes
• Atelier pratique : optimiser un pipeline d’entraînement en combinant mixed precision, DataLoader et gestion mémoire.

[Jour 2 – Après-midi]

Distribuer l’entraînement avec DDP et FSDP

• Comprendre les architectures d’entraînement multi-GPU et les coûts de communication
• Distribuer l’entraînement avec DistributedDataParallel (DDP)
• Comprendre le sharding des paramètres, gradients et états de l’optimiseur avec FSDP
• Choisir entre DDP et FSDP selon la taille du modèle, la mémoire disponible et l’infrastructure
• Diagnostiquer les problèmes de synchronisation, mémoire et performance dans un entraînement distribué
• Atelier pratique : adapter un entraînement PyTorch au multi-GPU puis comparer une stratégie DDP et FSDP.

[Jour 3 – Matin]

Optimiser les modèles et l’inférence

• Exploiter des modèles pré-entraînés avancés avec PyTorch et Hugging Face
• Appliquer des techniques de quantification pour réduire la mémoire et accélérer l’inférence
• Utiliser le pruning pour réduire la complexité des modèles
• Optimiser les batchs, la mémoire et la latence selon les contraintes d’inférence
• Mesurer les compromis entre précision, throughput, latence, mémoire et coût
• Atelier pratique : quantifier et optimiser un modèle pré-entraîné puis comparer ses performances avant et après optimisation.

[Jour 3 – Après-midi]

Exporter, monitorer et industrialiser les modèles PyTorch

• Exporter les modèles avec torch.export pour préparer leur exécution hors de l’environnement d’entraînement
• Exporter et valider les modèles avec ONNX et contrôler la cohérence des résultats
• Préparer les modèles pour leur intégration dans une chaîne d’inférence en production
• Versionner les modèles, configurations, métriques et expériences
• Intégrer le monitoring, la reproductibilité et les pratiques MLOps au cycle de vie PyTorch
• Atelier pratique : optimiser et exporter un modèle, valider son inférence puis construire un workflow d’industrialisation et de suivi des performances.