Formation LLM

PROGRAMME DE NOTRE FORMATION LLM

Introduction aux LLMs et à l’architecture

• Introduction aux LLMs
• Tokenisation et embeddings
• Self-Attention et architecture Transformer
• Variantes d’architectures
• Atelier pratique : visualiser les têtes d’attention d’un GPT-2

Manipulation de LLMs via API

• Panorama des fournisseurs
• Utilisation d’une API LLM
• Comparaison de modèles
• Intégration Python
• Atelier pratique : Comparer GPT-4, Mistral-7B et LLaMA2-13B sur un même prompt

Prompt Engineering

• Bases du prompting
• Prompting avancé
• Templates & tooling
• Atelier pratique : Résumer un article selon 3 styles différents

Génération Augmentée par Récupération

• Introduction à la RAG
• Pipeline complet
• Stockage et recherche vectorielle
• Intégration avec LangChain
• Atelier pratique : Créer un chatbot de support interne à partir de PDF internes

Fine-Tuning avec LoRA, QLoRA, PEFT +

• Pourquoi fine-tuner ?
• LoRA, QLoRA, PEFT
• Implémentation pratique
• SBERT & apprentissage contrastif
• Atelier Pratique : Fine-tuner un modèle Mistral sur des tickets de support client

Orchestration avec LangChain & LangGraph

• Rappels sur les agents LLM
• Construction de chaînes
• Introduction à LangGraph
• Atelier pratique : Créer un agent “chercheur académique”

Modules complémentaires

Déploiement d’un agent LLM avec API et interface

• FastAPI
• Streamlit
• Dockerisation
• CI/CD avec GitLab
• Atelier pratique : Déployer un agent complet (API FastAPI + UI Streamlit) sur un serveur local

Bonnes pratiques LLMOps

• Optimisation de coût et latence
• Sécurité et régulation
• Observabilité
• Atelier pratique : Créer un dashboard pour suivre performance + coût d’un agent déployé

Modèles Multimodaux

• Introduction aux modèles multimodaux
• Vision Transformers et BLIP
• Traitement des données
• Atelier pratique : Générer des légendes automatiques et poser des questions sur des images