BITCOS : réduire le stockage des LLM ternaires sous la limite théorique de 1,58 bits
En bref
- Les modèles ternaires stockent chaque poids comme l'un de trois symboles {-1, 0, +1}. Une nouvelle méthode nommée BITCOS exploite le fait que 51,5% des poids sont des zéros dans les modèles réels pour compresser en dessous du seuil théorique de 1,58 bits (log₂3), atteignant 1,48 bits par poids.
- Les tests sur 26 modèles sur 29 montrent des gains jusqu'à 1,28× en multiplication matrice-vecteur et jusqu'à 1,27× en débit de décodage sur GPU.
- La technique combine une bitmap de présence dense et un vecteur de signes compacté, optimisée pour AVX-512, AVX2 et Intel Xe2.
Ce que dit la source
Les LLM ternaires sont conventionnellement compressés via un schéma de packing cinq poids par octet, qui arrondit à 1,625 bits par poids en supposant une distribution uniforme des trois symboles {-1, 0, +1}. Or, l'observation empirique des auteurs révèle que les zéros représentent réellement jusqu'à 51,5% des poids. Ce décalage entre l'hypothèse d'équiprobabilité et la réalité crée une inefficacité d'encodage.
- BITCOS remplace le packing cinq-trit par un schéma adaptatif composé d'une bitmap de présence plus un vecteur de signes compacté, coûtant 2 − z bits par poids (où z est la densité de zéros)
- Sur les 29 modèles ternaires testés, 26 bénéficient d'une compression inférieure à 1,625 bits par poids ; le plus creux atteint 1,485 bits
- Les noyaux de multiplication matrice-vecteur optimisés pour AVX-512, AVX2 et Intel Xe2 montrent des gains de décodage de 1,18× à 1,27× selon la plateforme (CPU ou GPU)
- La méthode est dépourvue de décompression supplémentaire en mémoire avant utilisation, contrairement à ce que supposeraient des approches génériques de compression
Dans les commentaires
Débat technique nuancé : plusieurs commentateurs reconnaissent l'efficacité de l'approche adaptive, mais expriment du scepticisme sur l'utilité pratique des LLM ternaires (remise en question de la pertinence du format ternaire lui-même, non de cette optimisation). Quelques voix soulèvent des questions sur les limites d'une bitmap simple comparée à des techniques comme le codage arithmétique. Un consensus émergent sur le potentiel en calcul embarqué et en circuits spécialisés.
- Un commentateur conteste la viabilité même de la quantification ternaire, évoquant des méthodes supérieures (quantification vectorielle, méthodes par treillis) en post-training, suggérant que l'optimisation porte sur un format de base discutable
- Plusieurs expriment de la perplexité sur le fait que ce schéma adaptatif n'existait pas d'emblée, questionnant les pratiques d'implémentation précédentes
- Une objection porte sur le coût du décodage en mémoire : si les poids doivent être convertis en format 1,58-bit pour le calcul, les gains de stockage peuvent ne pas refléter les économies réelles d'exécution
- Quelques commentateurs soulèvent l'attrait pour le codage arithmétique ou des schémas vectoriels alternatifs (LUT 8-bit sur 6 composantes) pour dépasser encore les marges actuelles
- Le consensus implicite est que l'impact dépend fortement de l'adoption matérielle ; sans circuits spécialisés ou support GPU natif, le gain peut rester marginal en production
Notre lecture
À surveiller pour les équipes travaillant sur l'inférence embarquée, mais pas d'action immédiate. L'optimisation elle-même est rigoureuse et reproductible, mais elle réside dans une couche très spécialisée (encodage de poids ternaires). Son intérêt pratique dépend de deux conditions : (1) que la quantification ternaire s'avère pertinente face aux alternatives (débat toujours ouvert dans HN) ; (2) que le matériel cible supporte nativement BITCOS ou qu'une DSI investisse dans une implémentation personnalisée. Pour les 90% des équipes non concernées par l'inférence ultra-compressée, c'est un progrès académique intéressant sans conséquence directe. Pour celles qui optimisent déjà sur edge, c'est un benchmark à évaluer contre leurs stacks actuels.