Formation Voici AI avec Moshi

Programme de notre formation Voice AI avec Moshi

[Jour 1 – Matin]

Comprendre les architectures Voice AI et Speech-to-Speech

• Comprendre les principaux cas d’usage de la Voice AI : assistants vocaux, support client, interfaces conversationnelles et applications temps réel
• Comparer les architectures en cascade ASR + LLM + TTS avec les approches Speech-to-Speech natives
• Découvrir l’architecture de Moshi et son positionnement dans l’écosystème des modèles vocaux
• Comprendre le rôle de Mimi, des codecs neuronaux et des représentations audio
• Identifier les principaux enjeux d’une application vocale : latence, qualité, interruptions et ressources de calcul
• Atelier pratique : déployer Moshi dans un environnement de laboratoire, réaliser un premier échange vocal et mesurer la latence et les ressources utilisées.

[Jour 1 – Après-midi]

Construire une interaction vocale temps réel et full-duplex

• Comprendre le fonctionnement d’une conversation full-duplex et la gestion simultanée des flux utilisateur et assistant
• Gérer les interruptions, reprises de parole et changements de tour dans une conversation naturelle
• Manipuler les flux et tokens audio nécessaires à la génération vocale temps réel
• Configurer les paramètres influençant la génération, la voix et la prosodie
• Gérer les buffers, la synchronisation et les problèmes de coupures ou de jitter
• Évaluer la fluidité, la cohérence et la qualité perçue d’une conversation vocale
• Atelier pratique : développer un assistant vocal capable de converser en temps réel et de gérer correctement les interruptions de l’utilisateur.

[Jour 2 – Matin]

Optimiser l’inférence et les performances d’un agent vocal

• Identifier les composants responsables de la latence de bout en bout d’une application Voice AI
• Comprendre les possibilités de déploiement et d’optimisation de Moshi selon l’environnement matériel
• Exploiter la quantification et les différents niveaux de précision pour réduire les besoins en ressources
• Comprendre les mécanismes de cache et de gestion mémoire lors des conversations longues
• Profiler l’inférence et identifier les goulots d’étranglement du pipeline audio
• Mesurer le Real-Time Factor (RTF), la consommation mémoire et les temps de réponse
• Atelier pratique : benchmarker plusieurs configurations d’inférence et optimiser un agent vocal pour réduire sa latence et sa consommation de ressources.

[Jour 2 – Après-midi]

Industrialiser une application Voice AI avec Moshi

• Concevoir l’architecture d’une application vocale temps réel entre client, backend et modèle
• Transporter les flux audio avec des protocoles adaptés aux communications temps réel
• Intégrer la capture microphone et la restitution audio dans une interface web ou applicative
• Superviser la latence, le jitter, les erreurs, la consommation de ressources et la qualité du service
• Protéger les données vocales, sécuriser les communications et gérer les problématiques de confidentialité
• Identifier les limites de Moshi et les critères permettant de choisir une architecture Voice AI adaptée au contexte métier
• Atelier pratique : construire une application Voice AI complète associant interface utilisateur, streaming audio, backend Speech-to-Speech et supervision.