Cerebras déploie des modèles IA à mille milliards de paramètres sur ses puces
Sommaire
En bref
- Cerebras explique comment adapter des modèles de 3 000 milliards de paramètres sur ses puces WSE-3T en les distribuant sur 59 wafers, en utilisant la quantification 4-bit et le pipelining pour atteindre 1000 à 2000+ jetons par seconde.
- Les poids restent sur chaque puce (44 GB de SRAM) ; seules les activations circulent entre wafers via RDMA Ethernet (2 microsecondes par saut).
- Le débit repose sur un pipeline continu où chaque étape traite une requête différente, plutôt qu'une vraie parallélisation GPU classique.
Ce que dit la source
Cerebras pose le défi architectural majeur : comment faire tenir et servir un modèle de 3 000 milliards de paramètres (même quantifié en 4-bit) sur du matériel physiquement limité. L'entreprise avance une réponse basée sur le pipelining multi-wafer : découper le modèle par couche, laisser les poids en place, faire circuler les résultats intermédiaires entre puces. L'article revendique une latence ultra-rapide grâce à cette architecture.
- Kimi K3 (~3 000 milliards de paramètres) se découpe en couches de ~16 GB chacune ; avec 44 GB de SRAM par wafer, les couches d'attention dense occupent un wafer entier (pour la cache KV), tandis que les couches d'attention linéaire en acceptent deux par wafer (total : 59 wafers).
- La quantification 4-bit réduit le poids brut à 1,5 teraoctets (contre 6 pour la précision complète).
- Seules les activations franchissent les wafers en RDMA Ethernet (~2 microsecondes par saut) ; les poids ne bougent jamais, limant ainsi la latence inter-puces.
- Le débit provient du pipelining : tant qu'un wafer traite la requête A, le précédent traite B, le suivant C, etc. Pas d'attente, contrairement à un batch GPU classique.
- La mémoire KV cache des couches denses fixe un plafond : avec 44 GB par wafer moins 16 GB de poids, ~28 GB reste pour la cache ; le nombre maximum de requêtes concurrentes se calcule à partir de ce budget.
Dans les commentaires
Débat divisé : des admirateurs du matériel reconnaissent sa performance théorique, mais plusieurs pointent l'écart entre les promesses (fiabilité, modèles à jour, coût) et la réalité opérationnelle.
- Plusieurs commentateurs rapportent un décalage de 6 à 9 mois dans la disponibilité des modèles frontier (GPT-5.6, versions récentes). L'argument inverse note que Kimi 3.1 Pro et DeepSeek Flash v4 devraient suivre bientôt.
- Des utilisateurs ont testé les offres abordables (~50 $/mois) et les décrivent comme peu fiables : Cerebras partagerait les ressources bon marché entre ventes et clients payants, réservant la fiabilité véritable aux plans « réels » (1 500 $/mois+).
- Incohérence relevée : l'article cite des benchmarks en précision complète (88,3%, 91,2%) mais utilise la quantification 4-bit en production. La fiabilité des performances annoncées (2000 tokens/s) est contestée par au moins un utilisateur qui n'a pas observé ce débit.
- L'article ne traite pas explicitement la latence de prefill : un commentateur signale que les chiffres de débit (RDMA Ethernet) peuvent ne pas s'appliquer à la première phase de requête.
- Doute sur l'architecture elle-même : pourquoi 59 wafers pour 3 000 milliards ? Certains y voient un problème d'architecture; d'autres acceptent que ce soit le prix du débit ultra-rapide et du traitement concurrent d'agents.
- Frustration sur la sélection de modèles : les versions ouvertes disponibles (GPT-OSS 120B, Qwen 3.8 27B) ne rivalisent pas avec les modèles propriétaires. Openrouter sur Groq offre une alternative moins rapide mais plus fiable.
Alternatives citées : Openrouter (Groq), Groq (cité comme alternative mais décrit comme pire en qualité de produit).
Notre lecture
Cerebras maîtrise clairement la distribution pipelinée de modèles géants sur du matériel hétérogène, et le débit affiché (1000-2000+ jetons/s) devient plausible avec cette architecture. Cependant, le débat HN souligne trois fossés non comblés par l'article technique : (1) les offres abordables ne livrent pas la fiabilité promise, (2) l'accès aux modèles frontier reste limité et en retard, (3) la traduction théorique en performance client réelle reste flou. Pour une DSI envisageant Cerebras, l'intérêt existe si le cas d'usage est : débit d'inférence maximal, latence d'aller-retour tolérable, budget conséquent (plans enterprise), et tolérance à une sélection de modèles moins complète qu'OpenAI/Anthropic. À surveiller : fiabilité des offres commerciales et calendrier de modèles à jour. Probablement pas une action imédiate pour la majorité, sauf besoins très spécifiques en débit.