Formation Arize Phoenix

Programme de notre formation Arize Phoenix

[Jour 1 – Matin]

Comprendre et instrumenter l’observabilité LLM

• Enjeux de l’observabilité LLM : comportement, qualité, erreurs, latence et consommation de tokens
• Rôles de Phoenix et d’Arize AX : diagnostic, évaluation, expérimentation et exploitation en production
• Modèle de traçage : traces, spans, relations parent-enfant, attributs et propagation du contexte
• Articulation entre OpenInference et OpenTelemetry : conventions sémantiques, instrumentation et export des traces
• Installation de Phoenix, configuration des projets et instrumentation automatique ou manuelle d’une application Python
• Atelier pratique : Instrumenter une application LLM avec OpenInference, envoyer ses traces à Phoenix et vérifier les attributs collectés.

[Jour 1 – Après-midi]

Tracer et diagnostiquer un RAG et un agent

• Lecture d’une trace RAG : requête, recherche documentaire, contexte transmis et réponse générée
• Diagnostic des défauts de retrieval : documents non pertinents, contexte incomplet et sources obsolètes
• Analyse de la génération : instructions, fidélité au contexte, erreurs et latence par étape
• Traçage d’un agent : orchestration, appels d’outils, arguments, résultats et trajectoire d’exécution
• Investigation des échecs agentiques : mauvais outil, boucle, erreur d’exécution et consommation excessive de tokens
• Atelier pratique : Diagnostiquer un RAG et un agent défaillants, localiser les étapes responsables et vérifier une correction dans les traces.

[Jour 2 – Matin]

Évaluer les réponses et calibrer un LLM juge

• Construction d’un jeu d’évaluation représentatif : exemples issus des traces, cas limites et réponses de référence
• Choix des critères de qualité : pertinence documentaire, exactitude, fidélité au contexte et réussite de tâche
• Combinaison des évaluateurs déterministes, des annotations humaines et du LLM juge
• Conception d’une grille de jugement : consignes, labels, exemples et justification des scores
• Calibration du juge : accord avec les annotations humaines, analyse des désaccords, biais et validation sur des exemples distincts
• Atelier pratique : Annoter un échantillon, automatiser son évaluation dans Phoenix et ajuster le LLM juge en analysant ses désaccords avec les évaluations humaines.

[Jour 2 – Après-midi]

Expérimenter et préparer le suivi en production

• Organisation des expériences Phoenix : versions de datasets, prompts, modèles et paramètres contrôlés
• Comparaison des variantes sur les mêmes entrées : scores, analyse par exemple, latence, coûts estimés et régressions
• Sécurité des traces : masquage avant export, exclusion des secrets, contrôle des accès et politique de conservation
• Définition du monitoring de production : qualité, erreurs, latence, tokens, coûts et échantillonnage des évaluations
• Exploitation avec Arize AX : tableaux de bord, moniteurs, alertes et réutilisation de l’instrumentation OpenInference
• Atelier pratique : Comparer deux variantes de prompt ou de modèle, retenir une configuration selon les résultats, vérifier le masquage des données et définir les seuils de surveillance en production.