Formation LLMOps : Inférence vLLM & Accélération Unsloth

Programme de formation LLMOps : Inférence vLLM & Accélération Unsloth

[Jour 1 – Matin]

Fondamentaux LLM Ops et architecture d’inférence

• Clarifier les objectifs latence, débit, coût et qualité (SLO/SLA)
• Comprendre le pipeline d’inférence : tokenisation, prefill, decode, KV cache
• Choisir un format de modèle : HF Transformers, GGUF, AWQ/GPTQ (impacts perf/qualité)
• Préparer l’environnement GPU : drivers, CUDA, PyTorch, vérifications et diagnostics
• Atelier pratique : Mesurer une baseline d’inférence (latence p50/p95, tokens/s) sur un modèle HF.

[Jour 1 – Après-midi]

Mise en place de vLLM pour servir un LLM en production

• Installer et configurer vLLM (versions, compatibilités GPU, paramètres clés)
• Démarrer un serveur OpenAI-compatible : endpoints, modèles, limites et timeouts
• Optimiser le throughput avec PagedAttention, batching et gestion du KV cache
• Gérer la concurrence : files d’attente, quotas, backpressure et stratégies de rejet
• Atelier pratique : Déployer un serveur vLLM et lancer un test de charge (concurrence + tokens/s).

[Jour 2 – Matin]

Accélération vLLM : quantification, parallélisme et tuning

• Choisir une stratégie de quantification : FP16/BF16 vs INT8/INT4 (qualité, VRAM, perf)
• Configurer le tensor parallelism et la répartition multi-GPU (contraintes et gains)
• Ajuster les paramètres vLLM : max model len, max num seqs, block size, swap et limites mémoire
• Mettre en place des benchmarks reproductibles : prompts, tailles de batch, métriques et comparaisons
• Atelier pratique : Comparer 2 configurations vLLM (quantifiée vs non quantifiée) et documenter les gains.

[Jour 2 – Après-midi]

Unsloth : fine-tuning LoRA rapide et préparation au serving

• Comprendre Unsloth : objectifs, accélérations, limites et modèles compatibles
• Préparer un dataset d’instruction : formats, nettoyage, split, contrôles qualité
• Lancer un fine-tuning LoRA/QLoRA : hyperparamètres, VRAM, stabilité et checkpoints
• Exporter et packager : merge LoRA, sauvegarde HF, versioning et traçabilité des artefacts
• Atelier pratique : Fine-tuner un modèle avec Unsloth (QLoRA) puis exporter un artefact prêt à servir.

[Jour 3 – Matin]

Intégration : servir un modèle fine-tuné avec vLLM

• Charger un modèle fine-tuné : chemins, configs, tokenizer et compatibilité vLLM
• Paramétrer la génération : temperature, top_p, max_tokens, stop sequences et garde-fous
• Mettre en place une stratégie de prompts : templates, system prompts, et tests de non-régression
• Valider la qualité : jeux de tests, scoring simple, comparaisons avant/après fine-tuning
• Atelier pratique : Déployer le modèle Unsloth dans vLLM et exécuter une suite de tests de régression.

[Jour 3 – Après-midi]

Exploitation LLM Ops : observabilité, sécurité et industrialisation

• Mettre en place l’observabilité : métriques (latence, tokens/s, erreurs), logs structurés et traces
• Gérer les coûts : limites par client, cache, politiques de timeouts et dimensionnement GPU
• Sécuriser l’API : authentification, rate limiting, filtrage d’entrées et protection contre abus
• Industrialiser : versioning modèles, rollback, canary, et runbooks d’exploitation
• Atelier pratique : Construire un mini-runbook (alertes + actions) et une checklist de mise en production.