Formation SGLang

Programme de notre formation SGLang

[Jour 1 – Matin]

Prise en main de SGLang et environnement d’exécution

• Positionner SGLang : objectifs (serving LLM, agents, workflows) et cas d’usage en production
• Installer et valider l’environnement : Python, dépendances, GPU/CPU, variables et configuration de base
• Comprendre le modèle d’exécution : scripts SGLang, runtime, gestion des sessions et du contexte
• Écrire ses premiers prompts structurés : rôles, gabarits, paramètres et sorties typées
• Atelier pratique : Exécuter un premier script SGLang et obtenir une sortie JSON exploitable.

[Jour 1 – Après-midi]

Contrôle des sorties et composition de prompts

• Structurer des réponses fiables : contraintes de format, champs obligatoires, validation côté application
• Composer des étapes : enchaînement de sous-tâches, réutilisation de variables et fonctions utilitaires
• Réduction des hallucinations : consignes, garde-fous, stratégies de reformulation et vérifications
• Gestion du contexte : découpage, résumés, mémoire courte vs longue et limites de tokens
• Atelier pratique : Construire un pipeline “analyse > extraction > restitution” avec sortie strictement structurée.

[Jour 2 – Matin]

Appels outillés (tools) et intégration applicative

• Définir des tools : schémas d’entrées/sorties, sérialisation et gestion des erreurs
• Orchestrer des appels externes : APIs REST, bases de données, fonctions métier et services internes
• Stratégies de sélection d’outil : routage, règles, priorités et fallback
• Observabilité : logs, traces, métriques et corrélation requête/réponse
• Atelier pratique : Ajouter un tool “recherche produit” et produire une réponse finale justifiée et traçable.

[Jour 2 – Après-midi]

Performance et serving : latence, débit et coûts

• Comprendre les leviers de performance : batching, parallélisme, cache, streaming et gestion de la concurrence
• Paramétrer l’inférence : température, top-p, max tokens, stop sequences et impact sur qualité/latence
• Optimiser les prompts : réduction de tokens, gabarits réutilisables et prompts “diff”
• Gestion des ressources : GPU memory, limites, timeouts et protection contre les requêtes coûteuses
• Atelier pratique : Mesurer latence et throughput, puis appliquer 3 optimisations et comparer les résultats.

[Jour 3 – Matin]

Qualité, tests et sécurité des applications LLM

• Mettre en place une stratégie de tests : jeux de cas, assertions, tests de non-régression et golden outputs
• Évaluer la qualité : critères, scoring, vérification de format et contrôles sémantiques
• Sécuriser les entrées : prompt injection, données sensibles, filtrage et politiques de contenu
• Gérer les échecs : retries, backoff, timeouts, dégradation contrôlée et messages utilisateurs
• Atelier pratique : Créer une suite de tests automatisés et durcir un workflow contre l’injection.

[Jour 3 – Après-midi]

Mise en production : packaging, déploiement et exploitation

• Industrialiser un projet : structure, configuration par environnement et gestion des secrets
• Exposer un service : endpoints, contrats d’API, quotas, authentification et journalisation
• Superviser en production : tableaux de bord, alerting, suivi des coûts et analyse des erreurs
• Plan de maintenance : versioning des prompts, migrations, A/B tests et rollbacks
• Atelier pratique : Livrer un mini-service SGLang prêt prod (API + monitoring + runbook).