Formation Ollama Entreprise : déployer des LLM privés en production

Programme de notre formation Ollama Entreprise : déployer des LLM privés en production

[Jour 1 – Matin]

Fondations d’Ollama

• Comprendre le positionnement d’Ollama dans une stratégie de LLM privés.
• Identifier les cas d’usage pertinents pour l’entreprise, le poste de travail et les serveurs.
• Découvrir le cycle de vie d’un modèle, du téléchargement à l’exécution locale.
• Analyser les contraintes de confidentialité, de souveraineté et de maîtrise des coûts.
• Présenter les composants clés, Modelfile, runtime, API et bibliothèque de modèles.
• Atelier pratique : installation d’Ollama, lancement d’un premier modèle et prise en main des commandes essentielles.

[Jour 1 – Après-midi]

Modèles et configuration

• Explorer la notion de modèle, de variante et de quantification.
• Comprendre la structure d’un Modelfile et son rôle dans la reproductibilité.
• Paramétrer le comportement d’inférence avec les principaux réglages d’Ollama.
• Adapter les prompts système et les messages pour cadrer les réponses du modèle.
• Organiser une bibliothèque de modèles pour différents usages métiers.
• Atelier pratique : créer un Modelfile personnalisé et comparer plusieurs configurations d’inférence.

[Jour 2 – Matin]

API et intégration applicative

• Découvrir les capacités de l’API Ollama pour la génération et l’échange de données.
• Comprendre les formats de requête et de réponse, avec JSON et les paramètres de génération.
• Mettre en place des appels simples depuis un outil de test ou un script.
• Intégrer un modèle dans une application interne ou un service backend.
• Gérer les temps de réponse, la mémoire de contexte et les limites d’usage.
• Atelier pratique : développement d’un premier client API pour interroger un modèle local et exploiter sa réponse.

[Jour 2 – Après-midi]

Performance et exploitation

• Évaluer l’impact des tailles de modèles sur les ressources CPU et GPU.
• Comprendre les leviers d’optimisation liés à la mémoire, au cache et au contexte.
• Identifier les bonnes pratiques de dimensionnement pour un usage partagé.
• Mettre en place une logique de tests de charge et de validation fonctionnelle.
• Préparer des scénarios d’exploitation pour des environnements de préproduction et production.
• Atelier pratique : mesure comparative des performances de plusieurs modèles et réglage des paramètres d’exécution.

[Jour 3 – Matin]

Sécurité et gouvernance

• Définir un cadre d’usage pour des LLM privés dans l’entreprise.
• Analyser les risques liés aux données sensibles, aux prompts et aux sorties générées.
• Structurer les accès, les journaux et les règles d’audit.
• Mettre en place des pratiques de validation avant diffusion vers les métiers.
• Aborder les aspects de conformité, de responsabilité et de traçabilité.
• Atelier pratique : conception d’une politique d’usage sécurisée pour un service IA interne.

[Jour 3 – Après-midi]

Déploiement et mise en production

• Structurer une architecture cible pour un service Ollama en production.
• Choisir entre déploiement local, serveur dédié ou environnement conteneurisé.
• Préparer la supervision, les alertes et les indicateurs d’exploitation.
• Organiser le déploiement, les mises à jour et la gestion du cycle de vie des modèles.
• Capitaliser sur les retours d’usage pour faire évoluer la plateforme IA.
• Atelier pratique : construire un mini plan de mise en production avec architecture, supervision et exploitation.