Grassmann flows : une alternative mathématique à l'attention dans les modèles de langage
Sommaire
En bref
- Un chercheur propose une architecture sans attention basée sur les flots de Grassmann, où l'information circule par déformations contrôlées de sous-espaces plutôt que par matrices d'attention explicites.
- Sur Wikitext-2, un modèle Grassmann de 18 millions de paramètres obtient une perplexité 10 à 15 % moins bonne qu'un Transformer de même taille.
- Sur SNLI, l'architecture surpasse légèrement un Transformer (0.8550 vs 0.8545 en validation).
- La contribution revendiquée : une représentation mathématiquement plus transparente et un scaling linéaire en longueur de séquence pour un rang fixe.
Ce que dit la source
L'auteur pose une question fondamentale : l'attention explicite multi-têtes est-elle réellement nécessaire pour la performance et le raisonnement en modélisation de séquences ? Il propose de voir l'attention standard comme un « tensor lifting » (projection de vecteurs cachés dans un espace hautement dimensionnel d'interactions pairées), un mécanisme expressif mais mathématiquement opaque après plusieurs couches. Contre cela, il défend une alternative structurée : les flots de Grassmann, où le calcul se déploie sur une variété géométrique à rang faible plutôt que dans un espace tensoriel non structuré.
- L'architecture Causal Grassmann encode les paires de tokens locales en tant que sous-espaces bidimensionnels sur une variété de Grassmann via les coordonnées de Plücker.
- Information circule par déformations contrôlées de sous-espaces à plusieurs échelles plutôt que par l'indirection d'une matrice L × L d'attention.
- Sur Wikitext-2 avec 13 à 18 M paramètres, perplexité 10 à 15 % moins bonne qu'un Transformer de taille équivalente.
- Sur SNLI, validation/test 0.8550/0.8538 avec un Grassmann-Plücker head sur DistilBERT, comparé à 0.8545/0.8511 pour un Transformer.
- Complexité : scaling linéaire en longueur de séquence pour un rang fixe.
- L'approche manifold-based offre un cadre plus géométrique pour interpréter le raisonnement neural et découvrir des invariants explicites.
Dans les commentaires
Débat très critique et divisé : la majorité s'interroge sur la validité de résultats obtenus sur des benchmarks minuscules et conteste qu'une alternative theoretically sound devienne pratique à grande échelle, même si l'idée elle-même n'est pas niée.
- Un commentateur soulève une faille potentielle : l'indexation (zt, zt+Δ) instead de (zt, zt-Δ) risque de laisser le modèle « tricher » en utilisant le token futur pour prédire le suivant.
- Plusieurs objectent que le papier teste uniquement sur des modèles minuscules (18 M paramètres) et des benchmarks anciens ; les résultats ne prouvent rien de concluant à l'échelle réelle de production.
- Un critique relève que l'argument clé des Transformers n'est pas l'attention en elle-même mais la facilité d'entraîner des modèles arbitrairement grands, et que le scaling compute prime sur l'algorithme en pratique.
- Interrogation sur le coût computationnel réel : la projection Grassmann ajoute-t-elle des MAC qui ralentiraient l'inférence malgré la représentation de rang inférieur ?
- Critique stylistique (bien ou mal fondée) : le papier est soupçonné d'être écrit par une IA faute de figures, schémas et effort pédagogique suffisant ; absence de graphiques de tendances et de définitions claires de ce qui est mesuré.
- Un commentateur note que tout approche mathematically rigide souffre en pratique des même contraintes thermodynamiques et de cache que les langages fonctionnels.
Notre lecture
Intéressant comme variation théorique sur les ingrédients de la séquence modeling, et le lien vers la géométrie différentielle n'est pas dénué de sens. Mais les résultats empiriques (10–15 % pire sur le langage, à peine mieux sur l'inférence textuelle) suggèrent que ce trade-off entre transparence mathématique et performance pratique ne tient pas, du moins pas aux échelles testées. Aucune evidence que cela soit utile en production. À surveiller seulement si (a) quelqu'un le scale à 1B+ paramètres et beat un Transformer comparable, ou (b) l'interprétabilité géométrique débouche sur des découvertes concrètes. Pour l'instant, c'est une hypothèse intéressante mais non validée ; pas d'action immédiate.