Formation Deep Learning et Réseaux de Neurones : les fondamentaux pour l’ingénieur
| 2090€ HT / personne |
| 3 jours (21 heures) |
Présentation
L’intelligence artificielle, après avoir bouleversé de nombreux domaines scientifiques, a commencé à révolutionner un grand nombre de secteurs économiques (industrie, médecine, communication, etc.). Néanmoins, sa présentation dans les grands médias relève souvent du fantasme, très éloignée de ce que sont réellement les domaines du Machine Learning ou du Deep Learning.
L’objet de cette formation est d’apporter à des ingénieurs ayant déjà une maîtrise des outils informatiques (dont une base de programmation logicielle) une introduction au Deep Learning ainsi qu’à ses différents domaines de spécialisation et donc aux principales architectures de réseau existant aujourd’hui.
Si les bases mathématiques sont rappelées pendant le cours, un niveau de mathématique de type BAC+2 est recommandé pour plus de confort. Il est dans l’absolu possible de faire l’impasse sur l’axe mathématique pour ne conserver qu’une vision « système », mais cette approche limitera votre compréhension du sujet.
Comme toutes nos formations, celle-ci vous présentera la dernière version stable de la technologie et ses nouveautés.
Objectifs
- Compréhension des principes fondamentaux du Machine Learning et de son évolution vers le Deep Learning
- Revue des principaux outils et applications
- Maîtriser les réseaux de neurones simples convolutifs et récursifs grâce à des exemples Tensorflow
- Appréhender les modèles plus avancés : auto-encoders, gans, apprentissage par renforcement
- Comprendre les modèles d’attention et transformer ainsi que le reinforcement learning
- Connaître les bases théoriques ainsi que les pratiques d’architecture et de convergence de réseaux de neurones
- Comprendre les limites et les avantages du deep learning
- Maîtriser les concepts des modèles génératifs et des approximations de distribution
Public visé
Développeurs, Architectes, Big Data Data Analyst / Data Engineer / Data Scientist / Ingénieurs / Analystes
Pré-requis
Connaissance de Python et en mathématiques.
Pré-requis logiciel
Python installé.
Pour aller plus loin
- Nous vous proposons en introduction un séminaire sur l’Intelligence Artificielle
- En complément la technologie Pytorch de Facebook ou TensorFlow de Google
Programme de notre formation Deep Learning et réseaux de neurones pour l’ingénieur
[JOUR 1]
1. Introduction IA, Machine Learning & Deep Learning
- Le fantasme de l’intelligence artificielle face aux réalités d’aujourd’hui.
- Disparition des algorithmes, nouvelle modélisation des problèmes.
- Machine learning : présentation de l’apprentissage
- Approches principales : supervised learning, unsupervised learning, reinforcement learning, self supervised learning.
- Actions principales : classification, régression, clustering, estimation de densité, réduction de dimensionnalité, prédiction, génération
2. Concepts fondamentaux d’un réseau de neurones (Application : multi-layer perceptron)
- Rappel de bases mathématiques.
- Définition d’un réseau de neurones : architecture classique, fonctions d’activation et de pondération des activations précédentes, profondeur d’un réseau.
- Définition de l’apprentissage d’un réseau de neurones : fonctions de coût, backpropagation,stochastic gradient descent, maximum likelihood.
- Modélisation d’un réseau de neurones : modélisation des données d’entrée et de sortie selon le type de problème (régression, classification…). Curse of dimensionality. Distinction entre donnée multi-features et signal. Choix d’une fonction de coût selon la donnée.
- Approximer une distribution par un réseau de neurones : présentation et exemples
- Data Augmentation : comment équilibrer un data set et identifier les biais issus de la donnée.
- Généralisation des résultats d’un réseau de neurones.
- Initialisations et régularisations d’un réseau de neurones : L1/L2 régularization, Batch Normalization, Instance Normalization
- Optimisations et algorithmes de convergence : stochastic gradient descent, batching, Adagrad, AdaDelta, RMSProp
3. Outils usuels ML / DL
- Outils de gestion de donnée : Directed Acyclic Graph, Argo Workflow, Apache Airflow
- Outils Machine Learning usuel : Numpy, Scipy, Sci-kit
- Frameworks DL haut niveau : PyTorch, JAX
4. Applications du Deep Learning : revue des états de l’art et exemples d’applications
- Classification de données
- Comprendre ce qu’est la classification de données dans différents scénarios : donnée brute, image, son, texte, etc.
- Comprendre les enjeux d’une classification de données et les choix impliqués par un modèlede classification.
- Présentation des outils usuels de classification et notamment des réseaux de type MLP (Multilayer perceptron) ou CNN (Convolutional neural network) VS outils de Machine Learnig (Random Forest, Naive bayes)
- Présentation d’exemples de solutions existantes (par exemple : classification d’images médicales, d’historique client, de textes rédigés par des utilisateurs, etc.)
- Clustering : cas particulier d’apprentissage non supervisé. Présentation des différents algorithmes (k-means, Random Forests, etc.)
- Détection d’anomalies : outils et limites
- Prédiction d’information et donnée séquentielle/temporelle
- Enjeux et limite d’une prédiction d’information. Recherche de règles structurelles au sein de la donnée pouvant permettre une logique de prédiction.
- La prédiction comme une classification ou une régression.
- Pièges usuels d’une approche prédictive.
- Présentation des outils usuels de prédiction : modèles récurrents
- Transformation / Génération de données
- Qu’est-ce que transformer une donnée exactement ? Quelles barrières, quels enjeux.
- Opération de réinterprétation d’une même donnée : dé-bruitage, génération de résumés textuels, segmentation d’image.
- Opération de transformation sur un même format : traduction, résumé
- Opération de génération de donnée « originale » : neural Style, superrésolution, génération d’images à partir de présentations textuelles.
- Présentation du Deep Reinforcement Learning.
- Applications : contrôle de simulations numériques, voiture automatique, robotique.
[JOUR 2]
5. Convolutional Neural Networks (CNN)
- Présentation des CNNs : principes fondamentaux et applications.
- Fonctionnement fondamental d’un CNN : couche convolutionnelle, utilisation d’un kernel, padding & stride, génération de feature maps, couches de type ‘pooling’. Extensions 1D, 2D et 3D.
- Présentation des différentes architectures CNN ayant porté l’état de l’art en classification d’images : LeNet, VGG Networks, Network in Network, Inception, Resnet. Présentation des innovations apportées par chaque architecture et leurs applications plus globales (Convolution 1×1 ou
- connexions résiduelles).
- U-Networks pour la génération.
- Embeddings : Exploitation des représentations internes d’un CNN pour un apprentissage secondaire non supervisé.
6. Transformers et nouvelles architectures
- Présentation de l’architecture Transformer : time embeddings, mécanisme d’attention.
- Applications fondamentales en langage
- Transformers en vision : travaux initiaux, modélisation (patchèbased)
- Modèles fondation non supervisés en vision : Dino V2 with registers & Dino V3. Segment Anything
- Contrastive Learning et cross-embeddings : CLIP et dérivés
- Introduction au Neural Rendering : SDF/NeRFs
7. LLM & Agentic : approfondissements
- Grands principes des LLMs. Gestion de la taille de contexte, formes d’attention optimisées
- Le contrôle par prompt : intérêts et limites. Vision de sécurité.
- Illusions et réalités des LLMs : Chain of Thought. Emergence de capacités
- Introduction à l’agentique : itérations du LLM (AlphaGeometry) et confrontation à des outils (SWE-BENCH)
- Introduction à l’agentique : travaux fondamentaux et limites
- Ouverture sur les récents développements.
8. Debugging / analyse du fonctionnement d’un réseau
- État actuel de la compréhension mathématique de la convergence en Deep Learning.
- Analyse de neurones “morts” ou de kernels fondamentaux d’un CNN.
- Interpréter un LLM ? Sparse Autoencoding, possibilités et limites.
- Black box testing, synthetic data testing
- Embeddings
[JOUR 3]
9. Modèles génératifs : Modèles de diffusion
- Présentation des modèles génératifs, historique sur VAE/GANs.
- Auto-encoder : réduction de dimensionnalité et génération d’une version compressée. Limites, mode collapse.
- Variational Auto-encoder jusqu’au VQ-VAE : modèle générationnel et approximation de la distribution d’une donnée.
- Définition et utilisation de l’espace latent. Reparameterization trick. Applications et limitesobservées.
- Modèles de diffusion : score-matching et DDPM. Généralisation et robustesse des modèles.
- Modèles de diffusion sur espace latent : Latent Diffusion Models.
- Approfondissement des modèles de diffusion : Consistency Models, applications récentes
10. Deep Reinforcement Learning.
- Présentation du reinforcement learning : contrôle d’un agent dans un environnement défini par un état et des actions possibles.
- Approche fondamentale : Markov decision process, Monte Carlo.
- Deep Q Learning : Experience replay, et application au contrôle d’un jeu vidéo. Double Q Learning & Dueling Q Networks. Rainbow.
- Policy gradients. On-policy && off-policy. Actor critic architecture et approche asynchrone A3C.
- Présentation AlphaGo et AlphaGo Zero.
- World models : travaux initiaux, séparation des sujets.
- Imitation Learning et modèles de diffusion : révolution des travaux récents (Diffusion Policies)
Langues et Lieux disponibles
Langues
- Français
- Anglais / English
Lieux
-
France entière
- Paris
- Lille
- Reims
- Lyon
- Toulouse
- Bordeaux
- Montpellier
- Nice
- Sophia Antipolis
- Marseille
- Aix-en-Provence
- Nantes
- Rennes
- Strasbourg
- Grenoble
- Dijon
- Tours
- Saint-Étienne
- Toulon
- Angers
-
Belgique
- Bruxelles
- Liège
-
Suisse
- Genève
- Zurich
- Lausanne
-
Luxembourg
Nos Formateurs Référents
Eric
Témoignages
Les + : Grande pédagogie de l’intervenant pour expliquer la théorie et le fonctionnement des modèles. Lien fort avec les applications et contenu proche des dernières avancées de la recherche avec l’appui de travaux scientifiques.
Les – : Manque peut être de pratique, mais c’est compréhensible dans cette formation qui montre en 3 jours les différents modèles, leur fonctionnement et leurs applications : la tâche est déjà très vaste.
Afficher tous les témoignages
Les + : Grande pédagogie de l’intervenant pour expliquer la théorie et le fonctionnement des modèles. Lien fort avec les applications et contenu proche des dernières avancées de la recherche avec l’appui de travaux scientifiques.
Les – : Manque peut être de pratique, mais c’est compréhensible dans cette formation qui montre en 3 jours les différents modèles, leur fonctionnement et leurs applications : la tâche est déjà très vaste.
Les + : Les compétences du formateur
Les – : Ils sont cachés dans les feature maps !
Je souhaite suivre : Je n’ai pas connaissance de toutes les formations proposées
En synthèse : Une introduction à la formation réalisée par votre équipe a manqué dans le tout premier créneau
Je trouve que le curseur était très bien placé entre vulgarisation et détail! Très intéressant
bien détaillée et dense, bon formateur,
pour assimiler plus de choses il faudrait probablement plus de temps.
introduire plus le domaines d’applications de cette technologie et plus d’exemple concret
Merci Antoine, gestion de la formation très appréciable
Les + : le très bon niveau du formateur, sa disponibilité, son envie de nous transmettre et de se mettre à notre niveau. Egalement l’envie de ne pas trop rentrer dans les formules mathématiques, mais d’amener du concret dans les explications.
Les – : pas beaucoup de manipulation, mais ca me convient, car à distance ce n’est pas simple.
Je souhaite suivre : (je sais que ce ne sera jamais accepté par ma société):
Formation Linux RT: embarqué et temps-réel
En synthèse : vraiment une très bonne formation, que je recommande !
les examples/simulations concrètes pour comprendre les pcincipes théoriques
Connaître les outils de du machine et deep learning
manque d’applications durant la formation
Bonne vision transversale
Pas assez de pratique
bonne pédagogie, support de bonne qualité, formateur très compétent
Cette appréciation n’est pas lié à l’enseignant qui est très pédagogue. Je pense simplement que je n’avais pas les prérequis pour suivre cette formation dans de bonne conditions et donc je ne pourrais pas profiter de cet enseignement dans mes travaux de tous les jours.
Je vous suggère de proposer une formation « intermédiaire » qui s’attache plus à la mise en pratique concrète des réseaux de base (MLP, réseaux récurrents , convolution) sans aborder les formes les plus complexes et en intégrant dans les 3 jours de formations des « travaux pratiques » qui permettrait avantageusement de consolider la compréhension des concepts et leur principe. D’après moi, sans cela la formation reste trop théorique et ne me permet pas d’envisager une réalisation pratique dans mes travaux et ma fonction
Je me permet aussi de suggérer de prendre pour l’illustration des concepts des uses case plus variées (les exemples sur les traitement des images est un peu exclusif) s’appliquant notamment à des Times series qui ont de larges applications dans l’industrie.
je ne connais pas votre catalogue de formation. mais je suis preneur
Réponse d'Ambient IT
Bonjour David,
Nous vous remercions pour votre commentaire qui nous permet d’améliorer la qualité de nos formations.
Nous prenons en compte vos recommandations très pertinentes.
Eric est passionné et s’engage dans sa volonté de transmettre.
Bonne culture générale
Aucune pratique
Fort bagage technique
Comme dit en séance, il convient de revoir la formation à tête reposée – je ne sais pas si c’est mieux 3 journées d’affilée ou 3 journées séparées d’un temps pour assimiler
Je serais interessé d’avoir un conseil sur l’orientation des articles à lire / type de Réseau à évaluer dans mon cas précis .
Noter la formation
| 2090€ HT / personne |
| 3 jours (21 heures) |
UNE QUESTION ? UN PROJET ? UN AUDIT DE CODE / D'INFRASTRUCTURE ?
Pour vos besoins d’expertise que vous ne trouvez nulle part ailleurs, n’hésitez pas à nous contacter.
ILS SE SONT FORMÉS CHEZ NOUS
