Formation Fine-tuning Expert : QLoRA, Axolotl & MLOps

Programme de formation Fine-tuning Expert : QLoRA, Axolotl & MLOps

[Jour 1 – Matin]

Fondamentaux du fine-tuning LLM et stratégie d’adaptation (SFT, DPO, LoRA)

• Clarifier les objectifs : assistant, extraction, classification, génération contrôlée
• Choisir l’approche : SFT vs DPO vs RLHF (quand et pourquoi)
• Comprendre LoRA : rang, alpha, modules cibles, impact sur qualité et coût
• Préparer l’environnement GPU : CUDA, drivers, VRAM, bfloat16/fp16, contraintes multi-GPU
• Atelier pratique : Diagnostic d’un cas d’usage et choix d’une stratégie de fine-tuning.

[Jour 1 – Après-midi]

QLoRA en pratique : quantification, mémoire et stabilité d’entraînement

• Principe QLoRA : 4-bit (NF4), double quantization, compute dtype
• Réglages clés : batch size, gradient accumulation, sequence length, packing
• Stabilité : gradient checkpointing, clipping, warmup, scheduler, seed et reproductibilité
• Mesures et suivi : loss, perplexity, overfitting, échantillons de génération
• Atelier pratique : Lancer un premier fine-tuning QLoRA sur un modèle open-source et analyser les métriques.

[Jour 2 – Matin]

Axolotl : configuration, datasets et pipelines SFT

• Structure d’un projet Axolotl : YAML, modèles, datasets, sorties et checkpoints
• Formats de données : instruction-following, chat templates, JSONL, champs système/utilisateur/assistant
• Pré-traitement : nettoyage, déduplication, filtrage, équilibrage, split train/val
• Optimisations : packing, flash-attn, paged optimizers, gestion VRAM/throughput
• Atelier pratique : Construire un dataset SFT et exécuter un run Axolotl reproductible.

[Jour 2 – Après-midi]

Alignement et qualité : évaluation, DPO et tests de robustesse

• Définir un protocole d’évaluation : jeux de tests, prompts fixes, critères métier
• Mesures : win-rate, exact match, toxicité, hallucinations, latence et coût
• Introduction DPO : données de préférences, paires chosen/rejected, pièges courants
• Tests de robustesse : jailbreaks, données hors-distribution, régressions fonctionnelles
• Atelier pratique : Mettre en place une évaluation automatique + un run DPO sur un petit jeu de préférences.

[Jour 3 – Matin]

MLOps du fine-tuning : traçabilité, versioning et gouvernance

• Traçabilité des expériences : hyperparamètres, seeds, artefacts, logs et comparaison de runs
• Versioning : données, prompts, modèles, adapters LoRA, config Axolotl et dépendances
• Gestion des secrets et conformité : PII, licences datasets/modèles, auditabilité
• Stratégies de promotion : baseline → candidate → staging → production avec critères de sortie
• Atelier pratique : Mettre en place un workflow de versioning (données + modèle + config) et une checklist de release.

[Jour 3 – Après-midi]

Packaging, déploiement et monitoring : de l’adapter LoRA à l’inférence

• Choisir le mode de livraison : adapters LoRA vs merge, quantification d’inférence, formats (safetensors)
• Servir le modèle : paramètres d’inférence (température, top_p), limites de contexte, batching
• CI/CD : tests de non-régression, évaluation avant merge, build d’artefacts et publication interne
• Monitoring : dérive, qualité perçue, feedback utilisateurs, alerting sur coûts/latence/erreurs
• Atelier pratique : Construire un pipeline de release avec tests + déployer un endpoint d’inférence et définir des métriques de suivi.