Formation Kueue

Programme de notre formation Kueue

[Jour 1 – Matin]

Comprendre et installer Kueue

• Enjeux des GPU mutualisés : contention, ressources inutilisées et entraînements concurrents
• Rôle de Kueue : mise en file, réservation des quotas et admission des traitements
• Complémentarité avec le scheduler Kubernetes et les contrôleurs responsables du cycle de vie des Jobs
• Architecture et objets fondamentaux : Workload, LocalQueue, ClusterQueue et ResourceFlavor
• Installation avec Helm, vérification du contrôleur et découverte des ressources disponibles
• Atelier pratique : Installer Kueue sur le cluster pédagogique, créer une première file et observer l’admission d’un Job simple.

[Jour 1 – Après-midi]

Configurer les quotas et les profils GPU

• Organisation des équipes avec les namespaces et rattachement des LocalQueues aux ClusterQueues
• Définition des ResourceFlavors et correspondance avec les labels et les caractéristiques des nœuds GPU
• Dimensionnement des quotas nominaux de CPU, de mémoire et de GPU par profil matériel
• Demandes de ressources des Jobs et distinction entre quota réservé et capacité physique disponible
• Comparaison de StrictFIFO et BestEffortFIFO face à une tâche volumineuse en attente
• Atelier pratique : Configurer deux files et leurs quotas GPU, soumettre plusieurs Jobs et vérifier leur attente puis leur démarrage à la libération des ressources.

[Jour 2 – Matin]

Partager les ressources entre équipes

• Mutualisation des quotas inutilisés entre ClusterQueues au sein d’une cohorte
• Encadrement des échanges avec les limites de prêt et d’emprunt de quota
• Principes de Fair Sharing et pondération du partage des ressources empruntables
• Hiérarchisation des traitements avec WorkloadPriorityClass et distinction avec la priorité des pods
• Politiques de préemption, récupération des quotas et conséquences sur les entraînements interrompus
• Atelier pratique : Mettre deux équipes en concurrence, observer l’emprunt des GPU disponibles et tester une politique de priorité et de préemption.

[Jour 2 – Après-midi]

Entraîner plusieurs modèles simultanément

• Préparation de Jobs d’entraînement PyTorch à partir de scripts et d’images fournis
• Association des entraînements aux LocalQueues et déclaration des besoins en CPU, mémoire et GPU
• Exécution simultanée de plusieurs modèles lorsque les quotas et la capacité physique le permettent
• Distinction entre concurrence sur plusieurs GPU et partage d’un même GPU, qui nécessite des mécanismes complémentaires
• Suivi des résultats et préparation de points de contrôle applicatifs pour limiter les pertes lors d’une interruption
• Atelier pratique : Lancer simultanément deux entraînements de modèles distincts sur les GPU partagés, mettre un troisième en attente et vérifier son admission après libération des ressources.

[Jour 3 – Matin]

Fiabiliser les entraînements distribués

• Différences entre plusieurs entraînements indépendants et un entraînement distribué sur plusieurs workers
• Intégration de PyTorchJob avec Kubeflow Training Operator et activation de l’intégration correspondante dans Kueue
• Calcul des besoins globaux du Workload à partir des ressources demandées par les workers
• Configuration de waitForPodsReady, délais de démarrage et remise en file des traitements bloqués
• Introduction au Topology-Aware Scheduling pour tenir compte de la proximité réseau des workers
• Atelier pratique : Exécuter un entraînement distribué, provoquer un défaut de disponibilité d’un worker et analyser la remise en file avec waitForPodsReady.

[Jour 3 – Après-midi]

Superviser et optimiser le cluster partagé

• Lecture des conditions des Workloads, des événements et des journaux pour expliquer les décisions d’admission
• Suivi des files, des temps d’attente et des quotas réservés avec Prometheus et Grafana
• Distinction entre réservation de quota et utilisation réelle des GPU mesurée par une instrumentation dédiée
• Diagnostic des goulots d’étranglement : quotas, capacité GPU, CPU, mémoire, stockage et placement des pods
• Bonnes pratiques d’exploitation : droits RBAC, périmètre des Jobs gérés et validation des changements de configuration
• Atelier pratique : Piloter une campagne concurrente de plusieurs modèles, identifier un blocage et ajuster les quotas ou les politiques de file en comparant les métriques avant et après modification.