Formation Qwen : LLM et IA générative

Programme de notre formation Qwen

[Jour 1 - Matin]

Comprendre l écosystème Qwen et choisir le bon modèle

• Positionnement de Qwen dans l écosystème des grands modèles de langage
• Panorama des principales familles de modèles : modèles généralistes, raisonnement, code et multimodalité
• Comprendre les architectures Dense et Mixture of Experts utilisées dans l écosystème Qwen
• Comparer les modèles selon leur taille, leur contexte, leurs performances et leurs besoins matériels
• Comprendre les différences entre modèles Instruct, Reasoning et modèles spécialisés
• Choisir entre utilisation via API et exécution d un modèle open-weight sur sa propre infrastructure
• Identifier les critères de sélection : qualité, latence, coût, confidentialité et ressources disponibles
• Atelier pratique : comparer plusieurs modèles Qwen et sélectionner le modèle adapté à différents cas d usage

[Jour 1 - Après-midi]

Exploiter les modèles Qwen avec Python

• Utiliser les modèles Qwen avec Hugging Face Transformers et ModelScope
• Configurer les principaux paramètres de génération : température, top-p, longueur du contexte et tokens générés
• Comprendre et utiliser les capacités de raisonnement des modèles compatibles
• Produire des sorties structurées et exploiter les formats JSON
• Mettre en œuvre le tool calling pour connecter le modèle à des fonctions externes
• Exploiter les modèles multimodaux pour analyser du texte, des images et des documents
• Mesurer la consommation de ressources et les performances d inférence
• Atelier pratique : intégrer un modèle Qwen dans un environnement Python et comparer plusieurs configurations d inférence

[Jour 2 - Matin]

Adapter et optimiser les modèles Qwen

• Comprendre quand utiliser le prompting, le RAG ou le fine-tuning
• Principes du Supervised Fine-Tuning pour adapter un modèle à un domaine spécifique
• Introduction aux approches LoRA et aux méthodes d adaptation légères
• Préparer et structurer un jeu de données d entraînement
• Comprendre les principes de quantification : compromis entre mémoire, vitesse et précision
• Découvrir les principaux formats et variantes quantifiées utilisables avec Qwen
• Évaluer les performances avant et après adaptation du modèle
• Atelier pratique : préparer un jeu de données et tester une stratégie d adaptation ou de quantification d un modèle Qwen

[Jour 2 - Après-midi]

Déployer et industrialiser un modèle Qwen

• Déployer un modèle Qwen avec vLLM ou SGLang
• Exposer le modèle sous forme d API compatible avec le protocole OpenAI
• Configurer le raisonnement, les sorties structurées et le tool calling côté serveur
• Dimensionner les ressources selon la taille du modèle et la charge attendue
• Comprendre les principes de parallélisation et d optimisation de l inférence
• Comparer déploiement local, cloud et service managé
• Mettre en place une stratégie de tests, de supervision et de mise à jour des modèles
• Définir une architecture de production adaptée aux contraintes de sécurité, coût et performance
• Atelier pratique : déployer un modèle Qwen derrière une API et valider son fonctionnement dans un environnement proche de la production