Formation Langfuse

Programme de notre formation Langfuse 

[Jour 1 – Matin]

Fondations de l’Observabilité LLM

• Passer de la “boîte noire” à la transparence totale des flux IA
• Architecture & Déploiement : Cloud vs Self-hosted (Docker, Supabase, PostgreSQL)
• Intégration profonde avec les SDK Python et TypeScript
• Traces, Spans et Generations
• Atelier pratique : Instrumentation d’une application existante et visualisation du premier graphe d’exécution.

[Jour 1 – Après-midi]

Tracing Avancé et Gestion des Coûts

• Enrichir les traces avec des métadonnées, tags et IDs utilisateurs
• Analyse de Latence et Coûts
• Debugging visuel : Identifier les goulots d’étranglement dans les chaînes de raisonnement complexes
• Monitoring des limites de taux (Rate Limits) et gestion des retries
• Atelier pratique : Création d’un dashboard de monitoring métier (coût par utilisateur vs latence par step).

[Jour 2 – Matin]

Prompt Management (Le CMS des Prompts)

•  Utiliser Langfuse comme source de vérité unique pour les instructions
• Versioning et Releases
• Templating Avancé : Structuration de prompts multimodaux et variables dynamiques
• Sécurisation des prompts et gestion des accès
• Atelier pratique : Mise à jour à chaud du comportement d’une application via l’interface Langfuse.

[Jour 2 – Après-midi]

Évaluations Automatisées (LLM-as-a-Judge)

• Définir des critères de succès (Pertinence, Toxicité, Fidélité)
• Online Evals : Utiliser GPT-5 ou o1 pour noter automatiquement 100% de la production
• Interface de scoring pour les experts métier et corrections manuelles
• Calcul du score de confiance et détection des hallucinations
• Atelier pratique : Configuration d’un pipeline d’évaluation automatique flaggant les réponses suspectes.

[Jour 3 – Matin]

Datasets et Amélioration Continue

• Création de Datasets : Extraire les “Golden Runs” (conversations parfaites) de la production
• Comparer deux versions de prompts sur des métriques réelles de performance
• Préparation au Fine-Tuning
• Benchmarking de modèles : Comparaison des performances o1 vs GPT-5 vs Mistral sur vos prompts
• Atelier pratique : Lancement d’un test A/B et analyse statistique du meilleur variant.

[Jour 3 – Après-midi]

Sécurité, PII et Industrialisation

• Protection de la vie privée : Masquage automatique des données sensibles (PII) avant export
•  Notifier Slack ou Teams en cas de chute des scores de qualité
• CI/CD pour Prompts
• Scalabilité et rétention des données à grande échelle
• Projet Final : Mise en place d’une stack LLMOps complète (Trace -> Eval Auto -> Feedback -> Dataset).