Nibnib : compression d'images pour décodage ultra-rapide sur microcontrôleurs
Sommaire
En bref
- Nibnib est un format d'image conçu pour décoder deux pixels par cycle sur microcontrôleurs basse puissance, via palettisation delta et Floyd-Steinberg.
- La source : Raph Levien, qui a créé ce format pour affichage vidéo 60fps sur RP2350 avec budget de 6 cycles/pixel.
- Le décodeur atteint 4 bits par pixel (4bpp) en lecture/palette/stockage simple ; l'encodeur est volontairement asymétrique et beaucoup plus lent.
- Décodeur inclus dans symbolasm, langage bas niveau hybride assembly/C pour raisonner sur la performance sur ces architectures.
Ce que dit la source
Raph Levien présente nibnib comme réponse à la contrainte matérielle des microcontrôleurs basse puissance : avoir un budget de ~6 cycles par pixel pour affichage vidéo temps réel. Le décodeur doit être maximal en vitesse (même au prix d'un encodeur lent) ; le format combine palettisation avec deltas plutôt que couleurs absolues, évitant l'accumulation d'erreurs et améliorant la qualité sur les zones douces. La démo fonctionne sur Adafruit Fruit Jam en lecture 640x480 60fps depuis carte SD.
- Décodage : deux pixels par byte d'entrée via lookup palette 32 bits, puis addition à l'état précédent replié (left/right split), pas de boucle interne complexe, l'ajout est inversible sans débordement grâce au cube de deltas proches de zéro.
- Format : 4 bits par pixel (4bpp), avec palettisation delta au lieu de valeurs absolues, réduisant les artefacts de quantification sur les transitions progressives.
- Encodage asymétrique : brute force sur 256 entrées palettisées par paire de pixels, avec diffusion d'erreur Floyd-Steinberg sur deux axes simultanément, actuellement plus lent que JPEG mais espace d'amélioration clair (palette adaptative, recherche bidirectionnelle).
- Langage : décodeur écrit en symbolasm, langage bas niveau créé par l'auteur, tentant de combiner le contrôle d'assembly avec variables nommées et structures C.
- Délais d'arête : artefacts visibles à droite des transitions abruptes, liés à la recherche gloutonne gauche-droite, correctif possible (encodage droite-gauche ou boustrophédon) sans ralentir décoding.
Dans les commentaires
Débat partagé : plusieurs commentateurs comparent la technique à HAM (Amiga), et certains contestent l'appellation 'compression' pour une palettisation delta basique. Un point saillant émerge : le décodeur ultra-optimisé pour RP2350 n'est probablement pas optimal pour architectures modernes (pipelines profondes, SIMD).
- Comparaison à HAM/AGA : plusieurs commentateurs notent la similarité avec le mode Hold And Modify de l'Amiga (6 à 8 bits pour 4096 à 262k couleurs), mêmes artefacts de frangement horizontal, nibnib est en essence une réinvention du concept sur architecture moderne.
- Absence de benchmarks absolus : un commentateur souligne que 'extreme decompression speed' manque de preuves chiffrées contre JPEG, rendant l'affirmation creuse sans contexte de comparaison.
- Optimisation matériel-spécifique : objection technique : ce qui décale ultra-rapide sur RP2350 (peu de cycles, pas d'ILP/SIMD) sera sous-optimal sur processeurs modernes avec pipelines profonds et instructions larges.
- Palettisation vs BCx : une remarque minoritaire note que BCx obtient compression similaire mais plus efficace en interpolant entre deux entrées palettisées, sans détails de comparaison directe.
- Asymétrie reconnaissable : un commentateur valorise l'imbalance encode/decode comme stratégie viable pour systèmes centralisés (broadcast, caches distribués), élargissant les cas d'usage au-delà du graphisme.
Alternatives citées : BCx (mentionné comme palettisation avec interpolation plus efficace), HAM/AGA (Amiga), JPEG (cité comme terme de comparaison absent)
Notre lecture
Nibnib est une micro-innovation solide, pas un algorithme révolutionnaire. L'angle intéressant n'est pas la compression (palettisation delta n'est pas neuf), mais la contrainte matérielle résolue : décoder 640x480 60fps avec ~6 cycles/pixel sur RP2350 est un défi réel, et l'asymétrie encode/decode est une stratégie pragmatique, cohérente avec les systèmes temps réel embarqués. Pour DSI/tech lead : pertinent si vous gérez de l'affichage sur microcontrôleurs ou edge devices ; aucune conséquence directe pour infra cloud ou backend standard. L'aspect symbolasm (langage bas niveau) mérite surveillance comme outil d'optimisation asm portage, mais reste de niche. En résumé : bon work, cas d'usage étroit, pas à généraliser à des architectures modernes.