EmbeddingGemma 2 adapté en reconnaissance vocale sur Mac, 13 secondes par heure
Sommaire
En bref
- Un développeur a converti le modèle d'embedding multimodal d'EmbeddingGemma 2 en outil de transcription vocale fonctionnant entièrement sur la puce Apple Silicon.
- Le système transcrit une heure d'audio en 13 secondes sur un MacBook Air M3 de base, sans transmission des données vers le cloud.
- Le taux d'erreur est actuellement de 5%, plus élevé que les modèles leader (2-3%), mais une meilleure formation du composant lecteur devrait le réduire.
Ce que dit la source
L'auteur a exploité le fait que EmbeddingGemma 2 place texte et audio dans un espace vectoriel partagé pour transformer directement les segments audio en transcription. Le modèle de base n'a jamais été entraîné pour la parole, seul un petit composant lecteur a été affiné, sur environ deux jours d'entraînement avec 8×H100, sur des données vocales librement licensées. Une miniature supplémentaire ajoute la ponctuation et les majuscules. Le résultat fonctionne intégralement sur l'appareil, sans dépendance cloud.
- La vitesse provient de l'utilisation du Neural Engine Apple, pas d'un gain algorithme fondamental ; les runs sur GPU classique (IBM Granite, NVIDIA Parakeet) restent significativement plus lents.
- Le taux d'erreur de 5% est admis comme éditable : l'auteur l'attribue à un entraînement court et non varié, envisage une itération avec données plus riches.
- Comparaison approximative seulement : les benchmarks de concurrents (FluidAudio, autres) proviennent de configurations matérielles différentes et de corpus audio distincts, rendant un classement direct imprudent.
- L'outil reste limité à l'anglais et ne fait pas rivaux des systèmes multilingues ; plusieurs commentateurs demandent explicitement le support multilingue.
- Pas encore opensource au moment du post, l'auteur s'engage à le publier sous licence Apache dans les jours suivants; une version TTS est aussi annoncée.
Dans les commentaires
Débat partage scepticisme mesuré : admiration pour l'ingéniosité technique et la performance brute, mais inertie sur l'utilité pratique (WER supérieur aux références, limite linguistique), accompagnée de demandes de clarifications sur les benchmarks.
- Plusieurs commentateurs soulignent que la comparaison de vitesse manque de rigueur : une heure d'audio en 13 secondes semble impressionnante, mais les modèles concurrents (Parakeet, Granite) tournent sur des configurations matérielles différentes ou des corpus audio distincts, rendant un vrai classement impossible.
- L'absence de publication en opensource au moment du post frustre les utilisateurs curieux ; l'auteur promet une publication imminente, mais cela repousse la vérification indépendante.
- Quelques commentateurs signalent que les modèles Apple natifs et Parakeet sur MLX offrent des résultats comparables ou meilleurs ; un testeur sur M4 Mac Mini a mesuré 6,75 secondes vs 7,5 pour Parakeet, remettant en cause le leadership annoncé.
- Une tension entre revendication de vitesse absolue et utilité réelle : le fil contient plusieurs rapports de transcription très rapide (quelques secondes pour des dizaines de minutes) sur des outils existants, questionnant ce qu'ajoute exactement cette nouvelle approche au-delà d'une curiosité technique.
- Demandes récurrentes sur le multilinguisme et la comparabilité rigoureuse des benchmarks (« WER contre quel corpus? ») restent sans réponse dans le fil fourni.
Alternatives citées : Parakeet v3 (NVIDIA, via MLX ou MacWhisper), Whisper (OpenAI), IBM Granite Speech 5.0 TurboCTC, Needle, modèles Apple natifs.
Notre lecture
Réalisation technique solide et légitime : prouver qu'un modèle d'embedding multimodal peut être adapté en STT sur l'appareil, à très haute vitesse, mérite respect. Mais la valeur pratique reste limitée aujourd'hui : 5% de WER sur une tâche monologue anglais ne dépasse pas les standards établis (Parakeet v3, Whisper), et l'absence d'opensource empêche l'adoption immédiate. À surveiller post-publication du code, notamment si la prochaine itération réduit réellement le taux d'erreur avec des données variées. Pas d'action urgente pour une DSI, mais pertinent pour les équipes explorer la réduction de latence vocale sur appareil (finance, santé, mobilité).