Formation DSPy : maitriser les coûts des LLms

Programme de notre formation DSPy : maitriser les coûts des LLms

[Jour 1 – Matin]

Fondamentaux DSPy et mesure des coûts LLM

• Comprendre le positionnement de DSPy : programmation déclarative de pipelines LLM et optimisation
• Identifier les postes de coût : tokens (prompt/completion), latence, taux d’erreur, retries
• Mettre en place une instrumentation : comptage tokens, durée, coût estimé par requête et par scénario
• Définir des métriques qualité/coût : exactitude, couverture, hallucinations, coût par succès
• Atelier pratique : Instrumenter un mini-pipeline DSPy et produire un tableau coût/latence/qualité.

[Jour 1 – Après-midi]

Réduire les tokens : signatures, prompts compacts et sorties contraintes

• Concevoir des Signatures DSPy (inputs/outputs) pour limiter l’ambiguïté et la verbosité
• Appliquer des stratégies de compression : consignes courtes, exemples minimaux, suppression du bruit
• Contraindre la sortie : formats stricts (JSON), champs obligatoires, longueur maximale
• Mettre en place des garde-fous : validation de sortie et relance ciblée plutôt que re-prompt complet
• Atelier pratique : Refactorer un prompt “long” en signature DSPy + validation, puis mesurer le gain en tokens.

[Jour 2 – Matin]

Optimisation DSPy : compilation, téléprompting et choix de modèles

• Structurer un programme DSPy : modules, chaînage, séparation extraction/raisonnement/rédaction
• Comprendre la compilation DSPy : objectifs, jeux de données, métriques et contraintes de coût
• Utiliser le teleprompting pour améliorer la qualité à coût constant (ou réduire le coût à qualité constante)
• Stratégies de model routing : petit modèle par défaut, escalade vers un modèle plus grand en cas d’échec
• Atelier pratique : Compiler un module DSPy sur un dataset et comparer coût/qualité avant/après.

[Jour 2 – Après-midi]

Réduire les appels : cache, batching et contrôle des retries

• Mettre en place un cache (clé par signature + paramètres + version) et gérer l’invalidation
• Réduire les appels via batching et regroupement de requêtes homogènes
• Limiter les retries : backoff, seuils, classification des erreurs (transitoires vs logiques)
• Détecter et corriger les boucles coûteuses : relances inutiles, sur-chaînage, prompts redondants
• Atelier pratique : Ajouter cache + politique de retries et mesurer l’impact sur un flux à forte volumétrie.

[Jour 3 – Matin]

Qualité sous contrainte : évaluations, tests et budgets

• Construire un jeu d’évaluation : cas nominaux, cas limites, données “pièges” et critères d’acceptation
• Mettre en place des evals automatisées : scoring, seuils, régressions et suivi dans le temps
• Introduire des budgets : coût max par requête, coût max par session, timeouts et dégradations contrôlées
• Approche “fail fast” : validations intermédiaires pour arrêter tôt les traitements non conformes
• Atelier pratique : Créer une suite d’evals + budget de coût et intégrer un contrôle de régression.

[Jour 3 – Après-midi]

Mise en production : observabilité, gouvernance et optimisation continue

• Mettre en place une observabilité opérationnelle : logs structurés, traces, coûts par endpoint et par client
• Définir des alertes : dérive de coût, hausse de latence, baisse de qualité, hausse de taux d’échec
• Versionner prompts/signatures/compilations : rollbacks, A/B tests, canary releases
• Plan d’optimisation continue : revue hebdo des top coûts, priorisation et quick wins
• Atelier pratique : Déployer un pipeline DSPy “budget-aware” avec dashboard coût/qualité et stratégie de rollback.