Aller au contenu
La Lettre IT
Retour aux synthèses
4 min de lecture
IA & modèles

llama-modchip : faire tourner DeepSeek 284B sur 64 GB de RAM sans GPU

En bref

  • Un ensemble de patches pour llama.cpp conçu pour exécuter des modèles Mixture-of-Experts (MoE) sur CPU x86_64 et ARM64 avec quantification agressive.
  • Fait tenir DeepSeek-V4-Flash (284B) dans 56,56 GiB en RAM physique via des optimisations SIMD, quantification Fractal-64 (1,71 bpw) et un drafter spéculatif basé sur les n-grammes.
  • Atteint 44 tok/s en prefill sur Zen 5 16-cœurs, ~20 tok/s en décodage sur configurations modestes (32-64 GB RAM).

Ce que dit la source

llama-modchip prétend résoudre le fossé entre la capacité RAM disponible et la taille des modèles MoE modernes. L'auteur observe que les checkpoints standards (ex. DeepSeek-V4-Flash en IQ1_S) occupent 76,87 GiB, dépassant les ~62,5 GiB utilisables sur un système Linux 64 GB, ce qui provoque du thrashing du page-cache ou des OOM. La solution combine trois axes : (1) réduction du checkpoint à 56,56 GiB via quantification Fractal-64 (1,71 bpw), (2) patches SIMD multi-niveau (registres AVX-512BW, caches L1/L2/L3, streaming MoE non-temporel) affirmés générer +77% prefill et +53% decode, (3) restauration instantanée du cache KV (~13 ms) via snapshots /dev/shm pour les agents à contexte long.

  • 56,56 GiB pour DeepSeek-V4-Flash (284,33B params totaux, 13,17B actifs) à 1,71 bpw, verrouillé en RAM sans swap sur 64 GB physique.
  • Quantification Fractal-64 (GGML_TYPE_Q2_0 custom) sur les experts MoE routés (IQ1_S primaire, IQ2_XXS/IQ1_M sur couches critiques) ; embeddings, couches denses et experts partagés en Q4_K/Q5_K/F32.
  • Nemotron-3.5-30B-A3B (14,35 GiB, 3,75 bpw) revendique 100/100 sur eval_quality_and_tools.py ; DeepSeek 284B 98,5/100 (similarity cosinus 0,9964 vs baseline UD-IQ1_S).
  • Patches SIMD remplacent les boucles matricielles single-column par un calendrier multi-colonne (8,4,3,2 tuiles) avec MQA8 FlashAttention et streaming MoE à hint non-temporal pour éviter l'éviction des lignes KV chaudes du L3.
  • Drafter Zobrist n-gram (1,64 MB L2/L3, type Stockfish-PVS v2) + rollback spéculatif O(1) pour états MLA/récurrents DeepSeek, restauration de 13,1–32,6 ms pour contextes 40-outils.
  • Décodage 25,0–60,4 tok/s sur Nemotron-30B (CPU seul 16-32 GB), 44,4 tok/s prefill DeepSeek 284B (Zen 5), 111,62 tok/s sur Threadripper 8-canal.
  • Binaires pré-compilés fournis ; modèles personnalisés (type 40 Fractal-64) incompatibles avec llama.cpp/Ollama/LM Studio standards, nécessitent le runtime modchip ou le binary standalone.

Dans les commentaires

Débat divisé sur la pertinence pratique. Admiration pour l'exploit technique (compression CPU agressive, optimisations SIMD), mais préoccupations récurrentes sur la qualité réelle sous quantification 1,5–2 bpw et la lisibilité de la documentation (README encombré, pas de chiffres clairs en ouverture). Peu de tests empiriques fournis par les premiers utilisateurs, scepticisme sur l'affirmation d'une perte mineure (98,5 vs 100 sur evals).

  • Plusieurs commentateurs contestent la crédibilité des chiffres de qualité : un testeur affirme que 1,71–2,06 bpw provoquera une « divergence très significative » versus précision pleine et qu'un « modèle lobotomisé » ne vaut pas le coup ; la source ne publie pas de traces d'inférence brutes pour validation.
  • L'auteur du README est accusé d'avoir inséré du « AI slop » (emojis et formatage), nuisant à la lisibilité et au sérieux du projet.
  • Consensus implicite que les gains CPU (prefill +77%) sont intéressants, mais l'absence d'une comparaison apples-to-apples avec llama.cpp standard sur la même quantification rend difficile l'isolement de la contribution réelle des patches SIMD.
  • La stack fragmentation llama.cpp (1 700+ PRs en attente, délais de review > 3 semaines, forks divergents Bonsai/Strata/Pulsar) soulève la question de la maintenabilité : sans intégration upstream, le projet reste un fork isolé.
  • Un testeur (Ryzen 7945HX, 96 GB DDR5) rapporte qu'il « tourne juste environ pareil » que llama.cpp CPU standard, mettant en question l'ampleur réelle du gain.

Alternatives citées : Autres forks CPU-optimisés mentionnés : Bonsai (Qwen 3.8 27B), Strata, Pulsar, llamaswap (abstraction multi-moteurs). Aucun concurrent direct nommé pour DeepSeek 284B CPU, mais allusion à des quantifications Unsloth (Q2XS) comme baseline.

Notre lecture

Exploit technique incontestable : faire tenir un modèle 284B dans 64 GB en maintenant une inférence utilisable sur CPU n'est pas trivial, et les optimisations SIMD multi-niveaux semblent solides. Cependant, l'absence de benchmarks détaillés (perplexité, benchmarks génériques, comparaisons directes avec llama.cpp), la quantification très agressive (1,71 bpw), et les doutes sur la qualité réelle en décodage long limitent l'intérêt immédiat pour une exploitation en production. Bon projet de recherche pour comprendre comment maximiser l'inférence CPU sur MoE ; à tester si votre usage tolère une dégradation mesurable en qualité (agents simples, prototypage). Pas pour remplacer une véritable plateforme GPU ou pour les cas où la cohérence du modèle compte.

Le brief, dans votre boîte mail

Recevez chaque jour la sélection et l'analyse La Lettre IT, sans avoir à repasser sur le site.