Formation llm-d

Présentation

llm-d’est une plateforme cloud native conçue pour industrialiser l inférence distribuée de modèles de langage sur Kubernetes. En combinant routage intelligent, serveurs de modèles et optimisation des ressources matérielles, elle aide les équipes à fournir des services IA performants, fiables et maîtrisés en production.

Notre formation llm-d vous permettra de comprendre les mécanismes nécessaires au déploiement et à l’exploitation de modèles de langage à grande échelle. Vous apprendrez à structurer une architecture d’inférence reposant sur Kubernetes, à intégrer un serveur de modèles tel que vLLM et à exposer des API compatibles avec les usages applicatifs modernes.

Vous apprendrez à configurer les composants fondamentaux de llm-d, notamment le Router, les InferencePools et les serveurs de modèles. Vous mettrez en oeuvre les principes de répartition de charge, de gestion des requêtes et d’exploitation des accélérateurs afin d’obtenir un service d’inférence cohérent avec vos contraintes de capacité et de latence.

La formation aborde également les optimisations essentielles à l’inférence de LLM en production, telles que le routage conscient du cache KV, la séparation prefill et decode, l’autoscaling et le suivi des indicateurs de performance. Vous saurez identifier les compromis entre débit, temps de réponse, consommation GPU et coût d’exploitation.

À l’issue de la formation, vous serez en mesure de déployer, tester et diagnostiquer une plateforme llm-d sur un environnement Kubernetes. Vous disposerez des bonnes pratiques pour préparer des déploiements d’inférence distribuée robustes, observables et adaptés aux charges IA réelles.

Comme toutes nos formations, celle-ci vous présentera la dernière version stable de la technologie et ses nouveautés.

Objectifs

• Comprendre l’architecture et le positionnement de llm-d dans une plateforme d’inférence distribuée.
• Déployer un serveur de modèles et un InferencePool sur Kubernetes.
• Configurer le llm-d Router pour répartir efficacement les requêtes d’inférence.
• Exploiter le cache KV, le routage intelligent et la séparation prefill et decode.
• Mesurer les performances, analyser la latence et préparer le passage en production.

Public visé

Pré-requis techniques

• Poste sous Linux, macOS ou Windows 11 avec WSL2.
• Installation de Git, kubectl, Helm 3 et d’un éditeur tel que Visual Studio Code.
• Accès à un cluster Kubernetes 1.29 ou version ultérieure, avec droits de création de ressources dans un namespace dédié.
• Accès à des ressources de calcul GPU ou à un environnement de démonstration préparé, ainsi qu’à un compte Hugging Face si le téléchargement de modèles est nécessaire.
• Connexion Internet stable permettant l’accès aux registres de conteneurs et aux dépôts de code.