Llmspeed : simulateur de vitesse d'exécution pour choisir le matériel idéal
Sommaire
En bref
- Llmspeed est un site web qui simule les vitesses de token d'inférence pour différentes combinaisons de matériel (GPU NVIDIA, AMD, Mac) et modèles open source, sans télécharger les modèles.
- L'outil aide à évaluer si un achat de $10k+ de hardware vaut le coup pour un cas d'usage précis.
- Les données proviennent de benchmarks communautaires et de projections basées sur les spécifications.
- Plus de 25 modèles et configurations d'équipements sont testées.
Ce que dit la source
L'auteur présente Llmspeed comme une réponse au dilemme : en tant que développeur ou responsable IT, comment savoir si l'achat d'une GPU ou d'une station coûteux accélèrera suffisamment l'inférence locale pour justifier l'investissement ? Télécharger chaque modèle et chaque quantification pour les tester est long et presqu'impoli envers les services gratuits comme Hugging Face. Le site offre une estimation rapide des vitesses sans cette friction.
- Couvre un spectre large de matériel : RTX 3090 à 5090, Mac Studio jusqu'à 512 GB, CPU-only AMD Ryzen, configs cloud (H100/H200), mais aussi hardware moins courant ou ancien
- Les résultats combinent des nombres mesurés (issus de r/LocalLLaMA, localscore.ai) et des projections calculées à partir des spécifications
- Environ 25 modèles testés, de petits (Llama 3.1 8B) à très gros (Qwen 3.8 35B, DeepSeek V4.1 en variantes quantifiées)
- Affiche les vitesses de token par seconde et un détail des étapes (prefil, KV cache, décodage)
- Code source disponible sur GitHub
Dans les commentaires
Débat partage, sceptique mais constructif. Les commentateurs saluent l'utilité du site, mais pointent des limites substantielles : benchmarks en contexte court alors que les cas réels tournent sur 60–140k tokens, absence d'optimisations (ngram speculation, cache-aware routing, KV-offloading), matériel ancien ou moins courant manquant, et écart documenté entre chiffres du site et performances réelles avec bons réglages.
- Plusieurs commentateurs rapportent que les vitesses du site sous-estiment ce qu'on peut obtenir en production. L'un d'entre eux atteint 60–70 tokens/sec sur Qwen 3.6 27B 5-bit alors que le site annonce 46 ; un autre, sur hardware vieux (GTX 1070 Max-Q 2015), obtient 16–19 tokens/sec avec un modèle 35B quantifié, contredisant le conseil standard de se limiter à du 9B.
- Les benchmarks testent des prompts courts, or les charges réelles (coding, agentic) utilisent 60–140k tokens de contexte, ce qui réduit le débit de décodage de moitié ou plus, invalidant l'extrapolation directe du site.
- Pas d'inclusion des knobs d'optimisation : ngram speculation, cache-aware routing, KV-cache offloading (GPU vers CPU), quantification mixte (5-bit poids, 8-bit KV), des techniques qui peuvent augmenter les vitesses de 30 % à 100 % selon le matériel et le modèle.
- Le site refuse les configs GPU partielles (couches divisées entre GPU et CPU), bien que des frameworks comme llama.cpp le supportent nativement. Cela exclut les utilisateurs de petites cartes anciennes qui fonctionnent pourtant en production.
- Manquent : GPU multiples, variantes PCIe Gen, NVLink, bifurcation PCIe (utile sur Threadripper), des paramètres critiques pour les configurations semi-professionnelles.
- L'absence d'une barre de recherche par GPU force à scroller dans une longue liste, UX moyenne pour un outil de décision.
Alternatives citées : Localscore.ai cité comme source de benchmarks ; Strata mentionné comme outil alternatif de profiling ; vast.ai pour louer du hardware quelques minutes à bas coût pour valider avant d'acheter.
Notre lecture
Util mais snapshot. Llmspeed répond à un vrai problème : l'asymétrie informationnelle avant un achat coûteux d'équipement. Pour un utilisateur cherchant une estimation rapide 'ce hardware peut-il faire tourner ce modèle ?', c'est pratique. Mais comme le montrent les commentaires, prendre ces chiffres pour la vérité terrain est dangereux. Les conditions de test (contextes courts, paramètres par défaut) divergent systématiquement de la production (contextes longs, optimisations). À utiliser comme point de départ, pas comme réponse définitive : ceux sérieusement intéressés par une config locale doivent encore passer par une location courte sur une plateforme comme vast.ai (coûts négligeables avec crédits d'intro) pour valider réellement. Enfin, l'outil devrait documenter davantage ses hypothèses et intégrer progressivement les techniques d'optimisation que la communauté a déjà validées, sinon il va rapidement sembler obsolète.