Formation Développer une IA Générative

Programme de notre Formation Développer un ia générative

Introduction aux IA Génératives

• Définition et distinction avec IA discriminative
• Réseaux de neurones classiques aux transformers
• L’émergence du Deep Learning et du Self-Attention
• Révolutions successives : GANs, VAEs, Transformers
• Assistants conversationnels
• Génération de contenu créatif
• Synthèse vocale / musicale / visuelle
• Applications professionnelles : marketing, prototypage, jeux vidéo, dev

Fondamentaux en Deep Learning

• Neurone artificiel, activation, propagation
• Fonction de perte et descente de gradient
• CNN, RNN, LSTM
• Encoder-Decoder
• Batching, epochs, learning rate
• Régularisation et overfitting

Transformers et NLP Moderne

• Architecture : Attention, Multi-Head Attention, Position Encoding
• Différence avec RNN et LSTM
• Tokenisation (WordPiece, BPE, SentencePiece)
• Embeddings (word2vec, GloVe, positional)
• GPT, BERT, T5, LLaMA, Mistral
• Comparaison des approches causal vs masked language modeling

 Préparer ses données pour l’entraînement

• Données textuelles, visuelles, audio
• Qualité vs quantité : trade-offs
• Tokenisation et normalisation
• Filtrage, balance et biais
• TFRecords, Parquet, Datasets HuggingFace
• DataLoader et pipelines d’ingestion

Entraîner un modèle génératif

• Entraînement sur GPU / TPU
• Choix du framework : PyTorch, TensorFlow, JAX
• Fine-tuning vs entraînement from scratch
• Transfer learning
• LoRA, QLoRA, PEFT
• Perplexity, BLEU, FID, etc.
• Logging avec Weights & Biases, TensorBoard
• Checkpoints et reprise

Génération de texte avec un LLM

• Sampling, top-k, top-p (nucleus), température
• Prompts efficaces et prompt engineering
• Dialogue history, mémoire courte vs longue
• Gestion des contextes et tours de conversation
• Génération de contenus, résumés, rewriting
• Agents autonomes (AutoGPT, CrewAI)

Génération multimodale

• GANs : Generator vs Discriminator
• Modèles de diffusion
• Text-to-speech (TTS), Voice Cloning
• Music generation (Jukebox, Riffusion)
• Codex, Code LLaMA, StarCoder
• Recommandation et complétion de code

Évaluer et améliorer une IA générative

• Originalité, cohérence, diversité
• Mesures quantitatives et qualitatives
• Red Teaming & adversarial prompts
• RLHF : Reinforcement Learning from Human Feedback
• Filtrage et censure
• Détection des biais algorithmiques
• Stratégies de mitigation

Industrialiser et déployer son IA

• Transformer en API REST / gRPC
• Utilisation avec FastAPI / Flask
• Quantization, pruning, distillation
• ONNX, TensorRT, inference sur CPU
• Inference server (vLLM, TGI, Triton)
• Déploiement sur HuggingFace Hub, AWS, GCP, Azure