Formation LangSmith

Programme de notre formation LangSmith

[Jour 1 – Matin]

Découvrir la plateforme et ses concepts

• Positionnement de LangSmith dans l’écosystème des applications LLM.
• Différence entre observabilité, évaluation et déploiement.
• Notions de project, trace, run et thread.
• Lecture d’une exécution de bout en bout et compréhension des étapes clés.
• Cas d’usage typiques pour le débogage, la mesure et l’amélioration continue.
• Atelier pratique : prise en main de l’interface, exploration d’une première trace et identification des runs principaux.

[Jour 1 – Après-midi]

Instrumenter une application

• Principes de tracing automatique et de tracing manuel.
• Ajout des métadonnées utiles pour le diagnostic et le suivi produit.
• Organisation des journaux d’exécution pour faciliter l’analyse.
• Bonnes pratiques de nommage, de structuration et de contextualisation.
• Lecture des temps de réponse, des erreurs et des étapes intermédiaires.
• Atelier pratique : instrumenter un flux simple et faire remonter les traces dans un projet dédié.

[Jour 2 – Matin]

Construire et exploiter des datasets

• Rôle des datasets dans la validation des assistants et agents.
• Création d’exemples représentatifs à partir de cas métiers.
• Gestion des entrées, sorties attendues et variantes de test.
• Préparation d’un corpus pour comparer plusieurs comportements.
• Stratégies de sélection des cas limites et des scénarios critiques.
• Atelier pratique : créer un dataset de test et structurer des exemples exploitables pour une évaluation.

[Jour 2 – Après-midi]

Mettre en place les évaluations

• Comprendre les principes des évaluations offline et des expérimentations.
• Choisir entre évaluateurs automatiques, LLM-as-a-judge et règles métiers.
• Comparer plusieurs prompts, modèles ou paramètres sur un même dataset.
• Définir des critères de qualité, de pertinence et de cohérence.
• Lire les résultats, les scores et les écarts entre versions.
• Atelier pratique : lancer une expérimentation comparative et interpréter les scores obtenus.

[Jour 3 – Matin]

Analyser, corriger et suivre la qualité

• Exploitation des vues de traces pour isoler les anomalies.
• Analyse des feedbacks, des tags et des métadonnées.
• Détection des régressions et priorisation des corrections.
• Suivi des performances sur plusieurs itérations d’un même flux.
• Mise en place d’une logique de revue et de validation continue.
• Atelier pratique : diagnostiquer un cas défaillant à partir des traces et proposer une correction argumentée.

[Jour 3 – Après-midi]

Industrialiser l’usage de LangSmith

• Organisation d’une démarche d’observabilité durable en équipe.
• Bonnes pratiques pour documenter les expérimentations et partager les résultats.
• Intégration de LangSmith dans un cycle de test et de mise en production.
• Suivi des indicateurs utiles pour les équipes produit et technique.
• Recommandations pour sécuriser les usages et standardiser les contrôles qualité.
• Atelier pratique : construire un mini-processus de validation avant déploiement à partir d’un cas d’usage complet.