Formation IA Souveraine : Axolotl, Kubernetes & Llama 3

Programme de formation IA Souveraine : Axolotl, Kubernetes & Llama 3

[Jour 1 – Matin]

Fondations d’une IA souveraine et prise en main de Llama 3

• Définir les objectifs de souveraineté : données, modèles, infrastructure, traçabilité
• Panorama Llama 3 : tailles, licences, contraintes matérielles, cas d’usage (chat, RAG, classification)
• Choisir un format de déploiement : weights, quantification (4/8 bits), CPU vs GPU
• Mettre en place un environnement reproductible : Python, CUDA, drivers, gestion des versions
• Atelier pratique : Lancer une inférence locale Llama 3 et mesurer latence/VRAM.

[Jour 1 – Après-midi]

Préparer l’adaptation du modèle avec Axolotl (LoRA/QLoRA)

• Comprendre l’approche fine-tuning vs instruction tuning vs RAG (critères de choix)
• Structurer un dataset : formats (JSONL), champs (instruction/input/output), règles de qualité
• Configurer Axolotl : modèle de base, tokenizer, hyperparamètres, batch/grad accumulation
• Mettre en place l’évaluation : jeux de tests, métriques simples, tests de non-régression
• Atelier pratique : Construire un dataset d’instructions et générer une config Axolotl prête à entraîner.

[Jour 2 – Matin]

Entraîner et versionner un adaptateur LoRA avec Axolotl

• Lancer un entraînement LoRA/QLoRA : paramètres clés (lr, epochs, warmup, cutoff_len)
• Optimiser les coûts : gradient checkpointing, quantification, choix du rank/alpha LoRA
• Suivre l’entraînement : logs, courbes, détection d’overfitting, early stopping
• Versionner les artefacts : adaptateurs, config, dataset, reproductibilité (seed, commit)
• Atelier pratique : Exécuter un fine-tuning QLoRA, exporter l’adaptateur et valider sur un set de tests.

[Jour 2 – Après-midi]

Packaging et serving du modèle pour Kubernetes

• Choisir un serveur d’inférence : vLLM / TGI / llama.cpp (critères : perf, GPU, streaming)
• Construire une image container : dépendances, cache des weights, démarrage déterministe
• Exposer une API : endpoints, timeouts, streaming, limites de tokens, concurrency
• Gérer la configuration : variables d’environnement, fichiers, séparation modèle/adaptateur
• Atelier pratique : Conteneuriser un serveur d’inférence Llama 3 + LoRA et tester l’API en local.

[Jour 3 – Matin]

Déployer sur Kubernetes : GPU, scaling et fiabilité

• Déployer avec manifests : Deployment/StatefulSet, Services, probes (liveness/readiness)
• Activer l’accès GPU : device plugin, requests/limits, node selectors, taints/tolerations
• Gérer la montée en charge : HPA, autoscaling basé sur métriques, files d’attente
• Observabilité : logs structurés, métriques (latence, tokens/s), alerting
• Atelier pratique : Déployer l’inférence sur un cluster Kubernetes et valider la stabilité via probes et charge.

[Jour 3 – Après-midi]

Sécurité, conformité et exploitation d’une IA souveraine

• Sécuriser l’accès : authn/authz, réseau (NetworkPolicies), quotas, rate limiting
• Gérer secrets et données : Secrets, chiffrement, politiques de rétention, traçabilité des prompts
• Gouvernance du modèle : registre interne, validation, rollback, contrôle des versions
• Bonnes pratiques d’exploitation : runbooks, tests de dérive, monitoring qualité des réponses
• Atelier pratique : Mettre en place une politique d’accès + journalisation minimale et un plan de rollback du modèle.