Le fossé dans la compréhension des capacités des LLM s'élargit : une hiérarchie en quatre niveaux
Sommaire
En bref
- Andrej Karpathy décrit un écart croissant entre quatre groupes : 75% de la population n'a quasi jamais utilisé un LLM, 20% les essaient comme chatbot amélioré, 0,2% de professionnels (math et code) voient des gains substantiels, et ~5 000 personnes accèdent à des systèmes frontières internes qui opèrent à une échelle différente.
- Cet écart n'est pas accidentel : il reflète les domaines où les LLM excellent (travail numérique, vérifiable, rentable) et les ressources d'accès disponibles.
- Le risque : la majorité continue à évaluer les LLM sur des démos lentes, tandis qu'une micro-élite opère dans un univers parallèle.
Ce que dit la source
Karpathy affirme que le malentendu sur les capacités des LLM ne s'est pas résolu depuis avril 2024, il s'est au contraire creusé. La perception reste fragmentée non par malveillance ou incompréhension intellectuelle, mais par une exposition drastiquement différente : les gens qui jugent les LLM sur ChatGPT libre verrouillé (agents, sans accès terminal) voient des systèmes modestes ; les professionnels avec accès à des versions frontière internes, sans limitations, voient des trajectoires exponentielles.
- ~75% de l'humanité (6 milliards) a à peine croisé un LLM, ou l'a fait une fois sur une démo faiblarde, il y a plus d'un an.
- ~20% (1-2 milliards) utilisent ChatGPT ou équivalent de manière très occasionnelle, comme un moteur de recherche amélioré ou un assistant rédactionnel, sans trouver grand intérêt selon Karpathy.
- 0,2% environ (20 millions de personnes) en informatique et mathématiques constatent directement que des projets complexes de plusieurs mois se complètent maintenant avec des agents et un prompt, incluant la copie, la traduction et même la décompilation d'applis.
- ~0,00006% (5 000 personnes environ) opèrent sur des systèmes frontière internes, où des swarms d'agents collaborent sur des mégaprojets logiciels, découvrent des vulnérabilités zero-day, exécutent des cyberattaques/défenses à vitesse machine, et avancent les frontières des mathématiques.
- La jaggedness du système explique cette distribution : les LLM dominent les domaines numériques, vérifiables et économiquement rentables (math, code, sciences). Ailleurs, les gains sont marginaux.
- L'accès conditionne tout : gratuit avec brakes, payant avec un peu moins de brakes, interne sans brakes. Les limitations externes (pas d'accès terminal dans ChatGPT libre) réduisent dramatiquement l'utilité même des meilleurs modèles.
Dans les commentaires
Débat partagé, tendu entre scepticisme fondé et inquiétude croissante. Une part du fil conteste le récit ; une autre confirme la division observée en pratique.
- Plusieurs commentateurs remettent en question l'existence d'une classe de 5 000 personnes réellement beaucoup plus avancées : l'écart entre « plus rapide » et « magic » n'est pas établi. Les modèles internes sont plus coopératifs et permettent des exécutions massives (10 000 vs 10 agents), mais des gains de 90% à 93% en fiabilité ne suffisent pas à faire basculer l'échelle selon certains.
- Un argument récurrent souligne que l'absence de produits bridés les LLM freine l'adoption : l'IA n'est qu'une capacité, pas un produit. Les devs construisent leurs outils ; les autres attendent que quelqu'un leur fournisse une interface utilisable.
- Plusieurs objections pointent que Karpathy "vagueposte" sur la supériorité interne sans preuve : « chaque modèle publié reste un incrément modeste sur le précédent ». Le pattern de promesses répétées nourrit la méfiance.
- Un commentateur note que l'analyse omet une classe intermédiaire substantielle : non-devs mais pas novices, qui bricolent leurs propres solutions avec Claude ou ChatGPT, sans être dans le 0,2% professionnel étiquetable.
- Quelques voix soulignent que le ROI reste opaque pour la plupart des entreprises : spineller des swarms d'agents coûte en tokens et demande des compétences rares, sans garantie de dépaysement sur les projets réels.
Notre lecture
Karpathy diagnostique un vrai phénomène : la fragmentation de la compréhension est réelle et grandit. Le 0,2% qui utilise les LLM en production intensive (agents multi-étapes, accès aux outils) vit une expérience qualitativement différente du 20% qui teste ChatGPT comme un gadget. Le fossé entre version gratuite limitée et version interne sans freno est réel aussi. Cependant, l'affirmation que 5 000 personnes accèdent à une magique exponentiellement supérieure reste en partie spéculative. L'accès et les limitations techniques expliquent beaucoup, mais l'absence de produits mature pour la majorité, et le doute légitime sur la scalabilité des agents imparfaits, tempèrent l'image du décollage vertical. À surveiller : comment Anthropic et OpenAI commercialisent l'accès terminal et les agents à coût acceptable, car c'est là que le fossé se creusera ou se comblers vraiment.