Dessa : un modèle conversationnel entraîné uniquement sur de la parole
Sommaire
En bref
- Dessa est un modèle entraîné exclusivement sur des conversations audio, sans texte ni modèles préentraînés, capable de dialogues temps réel avec émotions, pauses et interruptions naturelles.
- Le modèle s'exécute en temps inférieur à la latence sur un MacBook Pro M4 Max, a été entraîné sur une seule GPU NVIDIA GB200 NVL72, ce qui contraste avec les besoins en ressources des LLM texte.
- Il comprend et génère l'émotion, le sarcasme, le rire et les nuances vocales que la conversion en texte élimine classiquement.
Ce que dit la source
Block (et son équipe de recherche héritière de l'ancienne startup Dessa de Toronto) affirme que les modèles de voix actuels perdent des informations essentielles en convertissant la parole en texte avant de traiter : émotion, rythme, timing, intention. L'équipe pose que cela crée une interaction dégradée et potentiellement dangereuse (un utilisateur en détresse ne peut pas être entendu). Dessa entend montrer qu'un modèle peut apprendre le langage directement du son, comme le font les bébés, sans jamais voir une seule ligne écrite.
- Le modèle fonctionne en duplex complet (écoute et parle simultanément) et génère des réponses plus rapidement que la latence en temps réel.
- Il rit, interrompt, change de volume, backchannel ("oui", "d'accord") de façon non programmée, suggérant une compréhension émergente de la conversation naturelle.
- Efficacité d'entraînement : centaines de fois moins de données que les LLM, entraîné sur une seule GPU GB200 NVL72, ce qui contraste fortement avec les besoins en ressources des modèles texte.
- Chaque mot prononcé génère des milliers de fois plus de données qu'en texte, ce qui rend l'apprentissage "brutal" sans support textuel.
- L'équipe invite les chercheurs en sécurité IA à accéder tôt au modèle pour identifier les risques non anticipés.
Dans les commentaires
Débat partagé : impressionné par l'efficacité technique et le naturel du ton de voix, sceptique quant aux démos, aux implications éthiques (usurpation d'identité, AI girlfriends), et au manque d'intelligence substantive du modèle au-delà de la mimique conversationnelle.
- Plusieurs commentateurs contestent l'authenticité des démos : l'un trouve le rire dans le premier exemple peu convaincant et note que le modèle interrompt constamment sans laisser l'humain finir une phrase.
- La crainte de l'usurpation d'identité est récurrente : selon plusieurs commentaires, cette technologie, combinée au vol de SIM ou à l'entraînement sur des vidéos publiques, pourrait être utilisée pour arnaque téléphonique, deepfake de rançon ou ingénierie sociale sur des cibles de haut profil.
- Un argument technique : le modèle semble peu intelligent au-delà de l'imitation conversationnelle, ce qui pose la question de sa valeur réelle sans système de raisonnement en amont.
- Quelques commentateurs trouvent la démo avec ChatGPT "creepy" ou mal à l'aise face au positionnement implicite vers les "AI girlfriends", perçu comme potentiellement problématique.
- Un commentateur soulève que l'affirmation "most authentic ever" (plus authentique jamais construite) ressemble à du marketing et que HN a observé une tendance à des titres sensationnalistes sans être pénalisée à la modération.
Notre lecture
C'est un accomplissement de recherche légitime : faire apprendre un modèle à converser en temps réel avec nuance et émotions à partir du seul signal audio, sans texte, sur une seule GPU, pose des questions intéressantes sur l'efficacité des apprentissages selon le signal (son vs texte). Mais le débat HN expose un vrai écart entre capacité technique et capacité cognitive : Dessa mime la conversation naturelle, ce n'est pas la même chose qu'un raisonnement intelligent. L'absence de fond intelligence réduit la valeur immédiate. Où ça devient préoccupant : l'usurpation d'identité et l'arnaque sont des risques concrets et l'équipe le sait (d'où l'appel aux chercheurs en sécurité). Pour une DSI ou un responsable de sécurité, l'enjeu n'est pas d'adopter Dessa demain, mais de surveiller comment cette catégorie d'outils speech-to-speech sera adoptée en contexte de fraude, et de préparer des moyens de détection robustes au-delà des questions mémoire partagée. À tester, mais d'abord en labo de sécurité.