DeepInfer : le framework d'inférence open source de DeepSeek
Sommaire
En bref
- DeepSeek ouvre le code source de DeepInfer, son framework d'inférence haute performance utilisé en production pour ses services.
- La plateforme supporte ses modèles (V4.1 Flash) et le matériel Huawei Ascend, en plus des GPU NVIDIA.
- Déploiement et tuning exigent une expertise technique : optimisations de noyaux, parallélisme avancé, sans système KV cache complet inclus.
Ce que dit la source
DeepSeek publie DeepInfer, le framework d'inférence qui sous-tend ses services de production à grande échelle. L'entreprise présente cette ouverture comme une mise à disposition des outils nécessaires pour servir des modèles à l'échelle, avec support natif des GPU NVIDIA et des NPU Ascend 950 de Huawei. Le dépôt GitHub documente les optimisations de noyaux maison (FlashMLA, DeepGEMM, DeepEP), les stratégies de parallélisme (attention DP, MoE EP), et des fonctionnalités comme la vérification confiance-programmée et la sortie structurée.
- 155 billions tokens/jour sur un cluster unique selon une source interne citée (38 USD par carte par heure en tarifs creuses)
- Support dual : NVIDIA SM100 et Huawei Ascend 950, première implémentation open source d'inférence optimisée pour les NPU Ascend
- Noyaux optimisés propriétaires (FlashMLA, DeepGEMM, DeepEP, TileKernels) et langage personnalisé TileLang pour compilation bas niveau
- Préfillage borné par fenêtre glissante (SWA) : réduit le travail de décodage en relisant seulement un suffixe limité (140 tokens pour V4.1 par défaut)
- Décodage accéléré par brouillon (DSpark) avec vérification programmée par confiance, jusqu'à 5 tokens de brouillon en parallèle
- Absence de système KV cache intégré et de disagreggation prefill/decode : fonctionnalités requises pour un service complet non incluses dans cette release
Dans les commentaires
Débat partagé sur les implications géopolitiques et économiques, peu de scrutin technique détaillé. Une partie des commentateurs voit une accélération structurelle du marché de l'inférence (Huawei Ascend défiait NVIDIA), d'autres une manœuvre tactique de timing face aux restrictions américaines. Absence quasi-totale de comparaison de performance réelle avec vLLM ou SGLang malgré la mention d'inspiration. Enthousiasme manifeste autour du modèle de distribution DeepSeek, mais frustration récurrente sur l'absence de précision technique attendue.
- Plusieurs commentateurs contestes le timing : la publication hours après un arrêté DHS d'exclusion (2026-01) suggère une réaction stratégique pré-planifiée depuis juillet 2026, non une divulgation spontanée.
- Débat géopolitique intense : argument répété selon lequel China libère ce code pour consolider un avantage économique global, ou au minimum pour contourner les restrictions américaines en mettant la technologie à portée des labos non-US.
- Absence de benchmarks comparatifs solides : un commentateur interroge explicitement les gains de performance par rapport à vLLM et SGLang (inspirations déclarées), question restée sans réponse visible.
- Matériel ciblé : plusieurs notent que 155B tokens/jour est chiffré pour SM100, matériel non disponible publiquement ; les implications pour H100 ou Ascend restent floues.
- Incompétude fonctionnelle admise : release sans système KV cache complet, sans disaggregation prefill/decode. Frustration sur ce qui relève du marketing (framework 'production') versus ce qui doit être construit par le consumer.
Alternatives citées : vLLM, SGLang, TensorRT-LLM (explicitement cités comme inspirations ou alternatives), et implicitement tout framework d'inférence open source ciblant GPUs ou accélérateurs alternatifs.
Notre lecture
DeepInfer matérialise une bascule : l'inférence optimisée devient un bien public (ou du moins chinois), quand l'entraînement reste le levier propriétaire. Techniquement solide (noyaux optimisés, parallélisme avancé), mais l'absence de benchmarks versus vLLM/SGLang et la libération délibérément incomplète (pas de KV cache managé) suggèrent un calcul stratégique plus qu'une pure générosité open source. Pour les DSI et infra teams, c'est pertinent surtout si déploiement sur Ascend or si coûts inférence sont critiques ; la relative maturité de vLLM/SGLang reste l'option plus direct pour NVIDIA. Mais la fenêtre de dominance absolue d'OpenAI/Anthropic sur l'inférence se ferme. À surveiller pour l'évolution Ascend en données centers non-américains.