Formation TensorRT avec Ultralytics YOLO

Programme de notre formation TensorRT avec Ultralytics YOLO

[Jour 1 – Matin]

Préparer le modèle et les mesures de référence

• Positionnement de TensorRT dans le cycle de déploiement d’un modèle Ultralytics YOLO
• Vérification de l’environnement : GPU, pilote NVIDIA, CUDA et dépendances
• Anatomie du pipeline de détection : prétraitement, inférence et post-traitement
• Préparation des images et annotations, distinction entre données de calibration et jeu d’évaluation indépendant
• Construction d’une référence PyTorch : qualité des détections, latence, débit et mémoire GPU
• Atelier pratique : Charger un modèle YOLO préentraîné, exécuter une validation et consigner les mesures de référence sur le GPU cible.

[Jour 1 – Après-midi]

Exporter et construire un moteur TensorRT

• Chaîne de conversion PyTorch, ONNX et moteur TensorRT : graphe, opérateurs et artefacts
• Export avec Ultralytics : format engine, résolution, taille de lot et budget mémoire de construction
• Dimensions statiques et dynamiques : profils de dimensions minimales, optimales et maximales
• Choix des précisions FP32 et FP16 selon le matériel et les résultats de validation
• Gestion des sorties : coordonnées, scores, classes et NMS selon l’architecture du modèle
• Atelier pratique : Construire des moteurs FP32 et FP16, les charger avec Ultralytics et comparer leurs prédictions à la référence.

[Jour 2 – Matin]

Quantifier et mesurer les compromis

• Principes de quantification INT8 et effets possibles sur les scores et la localisation des objets
• Préparation d’une calibration représentative : diversité des scènes, objets et conditions d’acquisition
• Paramétrage de l’export quantifié et lecture des journaux selon la version de TensorRT
• Protocole de benchmark avec trtexec : préchauffage, répétitions, synchronisation et transferts CPU-GPU
• Comparaison FP32, FP16 et INT8 : mAP, latence, débit et consommation mémoire à conditions identiques
• Atelier pratique : Exporter un moteur INT8 avec calibration, mesurer sa qualité sur le jeu indépendant et sélectionner une configuration selon des critères d’acceptation.

[Jour 2 – Après-midi]

Intégrer et fiabiliser le déploiement

• Intégration du moteur dans un pipeline Python de détection sur images et vidéos
• Mesure de la latence de bout en bout et identification des coûts de décodage, prétraitement et post-traitement
• Diagnostic des erreurs de dimensions, mémoire, opérateurs et désérialisation
• Contraintes de compatibilité des moteurs entre GPU, plateformes et versions, stratégie de reconstruction
• Reproductibilité du déploiement : versions figées, paramètres d’export, tests de non-régression et suivi des performances
• Atelier pratique : Livrer un pipeline vidéo utilisant le moteur retenu, vérifier les critères de qualité et de latence puis documenter sa reconstruction.