Formation PyTorch Fast.Ai : Deep Learning

Programme de la formation PyTorch

Jour 1 – matin : Introduction au Machine Learning et au Deep Learning

• Lancement de l’environnement de développement incluant PyTorch via docker ou Google Colab
• Introduction à Python, Jupyter Notebook, PyTorch et pandas
• Découverte des fondamentaux du Machine Learning : définition, cas d’usages et principaux défis
• Les typologies d'algorithmes du Machine Learning : supervisé (classification, régression), non supervisé, semi supervisé, auto supervisé, apprentissage par renforcement
• Préparation des données : analyse exploratoire, nettoyage, création de variables quantitatives à
• partir de variables catégorielles, traitement des données manquantes (NaN values) et non représentatives, mise à l’échelle de la donnée
• Atelier pratique :
  • Prise en main de PyTorch et pandas : manipulation des tenseurs et DataFrames
  • Nettoyage et mise à l’échelle de la donnée sur une base de données immobilière

Jour 1 – après-midi : Algorithmes de Machine Learning et descente degradient

• Fonction de coût vs métrique, Sous-apprentissage/Surapprentissage, Split Train/Test, Validation Croisée
• Descente de gradient (BGD, SGD, MiniBGD) appliquée à la régression linéaire. Régularisation (L1, L2, early stopping)
• Présentation d’algorithmes classiques du Machine Learning supervisé : Régression Linéaire (régression), Régression Logistique (classification binaire) et Régression Softmax (classification multiclasse)
• Revue succincte d’autres algorithmes supervisés et non supervisés : Random Forest, XGBoost, KMeans, etc.
• Atelier pratique:
  • Implémentation manuelle et apprentissage des modèles classiques de Machine Learning. Optimisation des hyperparamètres
  • Utilisation de scikit-learn pour l’utilisation d’autres algorithmes supervisés ou non supervisés

Jour 2 – matin : Multi-Layer Perceptron et PyTorch autograd

• Histoire du Deep Learning
• Autograd (PyTorch) et l’algorithme de reverse mode autodiff sur un exemple
• Implémentation d’un perceptron et extension en MLP avec torch.nn
• Apprentissage d’un MLP via rétropropagation du gradient par autograd
• Sauvegarde et restauration d’un modèle
• Manipulation des classes Dataset et DataLoader
• Méthodes de régularisation des modèles Deep Learning : Dropout, Data Augmentation
• Présentation succincte des optimizers : SGD, RMSprop, Adam, etc.
• Notion d'embeddings, leur importance pour la réduction de dimension et leur utilisation en transfer learning
• Atelier pratique:
  • Substitution de la descente de gradient manuelle par autograd
  • Implémentation d’un MLP et apprentissage sur données tabulaires et d’images MNIST

Jour 2 – après-midi : CNN et vision par ordinateur

• Principe des convolutions et pooling
• Architecture d’un CNN et comparaison avec un MLP
• Présentation de CNN avancés : VGG, ResNet et MobileNet
• Classification d'images avec transfer learning (ImageNet)
• Architecture du Convolutional Autoencoders
• Possibilité de création de modèles hybrides
• Atelier :
  • Implémentation et apprentissage de LeNet-5 en PyTorch sur données MNIST
  • Transfer learning à partir d’un modèle CNN avancé
  • Utilisation du Conv Autoencoders pour le débruitage

Jour 3 – matin : Traitement de données séquentielles : RNNs et Transformers

• Historique des couches pour le traitement séquentiel des données (RNN, LSTM, GRU) et les différentes architectures de données séquentielles (séquence à séquence, prédiction/many-to-one, …)
• Approche classique des techniques Bag-of-Words via scikit-learn : CountVectorizer, TF-IDF
• Mécanisme d’attention et de la couche Transformer
• Embeddings : BERT
• Transformers appliqués aux images : Vision Transformers (ViT)
• Atelier :
  • Prédictions des tags sur des questions Stack Overflow : prétraitement via bag-of-words vs embeddings
  • Substitution du modèle LeNet-5 par un modèle ViT

Jour 3 – après-midi : LLMs et ChatBot

• Des Transformers à ChatGPT : entraînement, fine-tuning et alignement RLHF
• Choix des modèles : Taille, Quantification, cas d’usage, etc.
• Différence Fine-Tuning vs RAG
• Usage des API et de LLMs locaux pour le développement
• Prompt engineering : zero-shot, few-shot
• Atelier :
  • Prédiction des sentiments de tweets via LSTM et/ou Transformers
  • Prise en main d’Ollama, instanciation d’un chatbot via Open WebUI. Exercice de prédiction de sentiments
  • via prompt engineering : zero shot vs few shot