Formation DeepInfer

Programme de notre formation DeepInfer

[Jour 1 – Matin]

Architecture et environnement d’exécution

• Périmètre de DeepInfer, prise en charge de DeepSeek-V4.1-Flash et distinction entre moteur hors ligne et service complet (raw.githubusercontent.com)
• Cycle d’inférence des modèles de langage : tokenisation, prefill, decode et mémoire des clés et valeurs
• Lecture de l’architecture Mixture of Experts et identification des contraintes de calcul, de mémoire et de communication
• Préparation de l’environnement Linux, contrôle des dépendances et repérage des scripts de compilation et des exemples
• Atelier pratique : Vérifier l’environnement distant, préparer un environnement isolé et contrôler la disponibilité du modèle et des accélérateurs.

[Jour 1 – Après-midi]

Premières inférences et sorties structurées

• Chargement du checkpoint depuis un répertoire local et exécution de l’exemple d’inférence hors ligne
• Lecture des objets de requête et de réponse, gestion des tokens et interprétation des journaux d’exécution
• Réglage des paramètres d’échantillonnage, des longueurs de génération et des conditions d’arrêt
• Génération contrainte par schéma JSON, expression régulière ou grammaire EBNF et validation des sorties (github.com)
• Atelier pratique : Adapter un exemple pour extraire des informations dans un format JSON imposé et vérifier les résultats sur un jeu de requêtes.

[Jour 2 – Matin]

Parallélisme et équilibrage des experts

• Répartition de l’attention avec Data Parallelism et Context Parallelism, puis des experts avec Expert Parallelism (github.com)
• Lecture des paramètres EP, DP et CP dans les exemples et vérification de leur cohérence
• Rôle de FlashMLA, DeepGEMM et DeepEP dans l’attention, le calcul matriciel et les communications
• Équilibrage des experts avec EPLB, experts redondants et distinction avec l’équilibrage des requêtes entre réplicas
• Atelier pratique : Comparer deux configurations de parallélisme compatibles avec le cluster pédagogique et analyser leurs journaux de charge et d’utilisation mémoire.

[Jour 2 – Après-midi]

Accélération et reproductibilité

• Principes de DSpark, proposition de tokens et vérification planifiée selon la confiance (raw.githubusercontent.com)
• Réglage de la longueur des propositions et interprétation du taux d’acceptation selon les requêtes
• Fonctionnement du SWA bounded replay et contraintes de conservation du suffixe de contexte
• Rôle de l’ordonnancement asynchrone dans le recouvrement du travail CPU et de l’exécution sur accélérateur
• Conditions de l’invariance au batch et de l’échantillonnage déterministe sur NVIDIA, avec graine fixée et configuration adaptée
• Atelier pratique : Comparer une exécution avec et sans décodage spéculatif, puis vérifier la reproductibilité d’une génération dans une configuration déterministe.

[Jour 3 – Matin]

Benchmarks et validation des résultats

• Construction d’un jeu de mesure représentatif : tailles de contexte, volumes de requêtes et longueurs des sorties
• Mesure séparée du prefill et du decode, échauffement et collecte hors surcharge du profileur (raw.githubusercontent.com)
• Lecture du débit par GPU et des pas par seconde, avec distinction entre comptage à acceptation complète et tokens réellement acceptés
• Analyse des compromis entre débit, latence, taille de batch et consommation mémoire sans extrapolation abusive au service complet
• Validation des sorties structurées, comparaison des références de perplexité et préparation des tests de non-régression
• Atelier pratique : Exécuter une campagne de benchmark, consigner les configurations et produire un tableau comparatif accompagné de contrôles de non-régression.

[Jour 3 – Après-midi]

Architecture de service et exigences d’exploitation

• Identification des composants à ajouter : système de cache KV, orchestration de la désagrégation prefill et decode, équilibrage entre réplicas
• Positionnement de deepseek-recipe pour la conversion des protocoles et des séquences de tokens, sans le confondre avec un serveur API (raw.githubusercontent.com)
• Conception de la couche de service : authentification, quotas, validation des entrées et protection des données
• Définition des besoins d’observabilité, des seuils de mémoire et de latence, des délais d’attente et des procédures de reprise
• Préparation d’un dossier de déploiement : versions figées, capacité, critères d’acceptation et limites connues
• Atelier pratique : Concevoir une architecture cible autour de DeepInfer et présenter un dossier de validation fondé sur les mesures et les tests réalisés.