Modèles précis des cœurs matriciels AMD : combler le fossé de reproductibilité
En bref
- Des chercheurs caractérisent le comportement numérique des cœurs matriciels AMD sur trois générations de GPU (CDNA 1, 2, 3) et développent des modèles MATLAB validés bit-à-bit contre le matériel avec 10 millions de vecteurs aléatoires.
- Contrairement à IEEE 754, ces cœurs présentent des écarts d'arrondi, de gestion des débordements et de traitement des valeurs subnormales qui varient selon l'architecture et le constructeur.
- Cette absence de standard rend la reproductibilité des résultats impossible entre appareils, ce qui complique le déploiement des modèles IA et les comparaisons de performance.
Ce que dit la source
Les cœurs matriciels des GPU modernes (AMD, NVIDIA, etc.) ne respectent pas la norme IEEE 754 pour les nombres flottants. Chaque architecture, y compris au sein d'un même constructeur, présente des divergences dans la largeur de l'accumulateur, le comportement d'arrondi, les points de normalisation, la gestion des débordements intermédiaires et le traitement des cas particuliers. Cette absence de normalisation rend impossible la reproductibilité précise des résultats d'une multiplication matricielle entre deux appareils, même par contrôle logiciel. Les chercheurs proposent de documenter ce comportement en développant des modèles numériques précis des cœurs matriciels AMD.
- Les cœurs matriciels AMD MI100, MI210/250 et MI300A/300X sont modélisés en MATLAB et validés contre le matériel réel avec exactitude bit-à-bit sur 10 millions de jeux d'entrée aléatoires.
- Les divergences numériques couvrent l'accumulation flottante, l'arrondi non-IEEE, la gestion des débordements intermédiaires, les subnormales et les entrées spéciales, des détails d'implémentation non documentés par AMD.
- La technique itérative d'affinement (test aléatoire puis correction jusqu'à la correspondance parfaite avec le matériel) a permis d'atteindre la reproductibilité bit-à-bit, démontrant que ces comportements sont déterministes et modélisables.
- Les auteurs utilisent ces modèles pour quantifier les différences d'exactitude au niveau applicatif entre les cœurs matriciels AMD et les tensor cores NVIDIA sur deux cas d'usage numériques.
Dans les commentaires
Débat partagé mais limité. Un consensus émerge sur l'urgence d'une standardisation ; plusieurs commentateurs soulignent que cette fragmentation explique déjà des défaillances en production (LLM locaux, déploiements multi-architectures). Les objections portent sur l'incomplétude du modèle en conditions réelles (pression mémoire, throttling thermique multi-tenant).
- Un commentateur ayant travaillé sur la validation GPU/TPU chez Google note que les modèles synthétiques (comme celui-ci) capturent le comportement brut de l'instruction, mais que la divergence en production dépend souvent de facteurs non modélisés : contention de bande passante mémoire en multi-kernel, throttling thermique sur charges soutenues, et drift numérique ou thermique accumulé sur plusieurs epochs, des phénomènes invisibles en microbenchmarks courts.
- Plusieurs commentateurs demandent une extension de cette étude aux SMX2 d'Apple Silicon et aux cœurs AMX d'Intel, suggérant qu'une vraie standardisation nécessiterait une couverture multi-vendeur.
- Un commentaire implique (sans détail) que la fragmentation matériel/numérique contribue à des crashes lors du déploiement de LLM locaux sur des architectures non testées, pointant l'absence d'un standard matrice à l'image d'IEEE 754.
Notre lecture
Travail académique rigoureux et nécessaire : documenter et modéliser l'opaque représente une base saine pour la reproductibilité. Mais ce modèle décrit le comportement isolé des cœurs, non l'interaction avec le système complet (mémoire, thermal, multi-tenant). Pour les équipes de validation GPU et les éditeurs de frameworks d'IA, c'est une ressource précieuse pour diagnostiquer les divergences architecturales. Pour une DSI : pas d'action immédiate, mais confirmé que la perte de reproductibilité entre GPU-AMD/NVIDIA restera un risque tant qu'aucun standard matrice émerge. À surveiller si IEEE ou une coalition du secteur propose une spécification.