Real-SWE benchmark : évaluer les agents IA sur codebases réelles

#4967682013 sept.

Débat partagé : le benchmark est apprécié comme plus proche de la réalité que les approches synthétiques, mais la méthodologie soulève des doutes de contamination, d'absence de détails critiques (niveaux de raisonnement, version exacte des harnesses) et de résultats qui divergent d'autres benchmarks et de l'expérience personnelle des commentateurs.

Real-SWE : un benchmark pour évaluer les agents IA sur de vrais codebases d'entreprise

SourceDébat HN

Specific Labs (YC) lance Real-SWE, un benchmark qui teste les modèles IA frontière sur des codebases privées et réelles d'entreprises (Luma/Partiful concurrent, fintech, plateformes AI).
Fable 5.1 et GPT-6 Astra dominent avec 38,8% et 33,8% de résolution, tandis que GPT-5.6 Sol reste à 16,2% malgré sa réputation.
Contrairement aux benchmarks synthétiques, Real-SWE exige que les agents naviguent dans des systèmes propriétaires, appliquent des règles métier complexes et s'adaptent aux conventions locales.

Ce que dit la source

Specific Labs affirme que les benchmarks d'IA sur codage existants (LeetCode-style, tâches synthétiques) ne reflètent pas le travail réel des ingénieurs en entreprise. Real-SWE propose une alternative : évaluer des modèles sur des codebases privés authentiques qui viennent de vrais problèmes en production, avec toute leur complexité opérationnelle (aspects fiscaux, plusieurs services, contraintes métier).

Chaque tâche provient d'une codebase de production privée, concédée sous licence par une vraie entreprise.
Les problèmes incluent : naviguer en aveugle dans des systèmes propriétaires, respecter des règles métier avec conséquences réelles (facturation, taxes), comprendre les conventions de code spécifiques à chaque entreprise.
Les codebases sélectionnées viennent d'entreprises solides : un concurrent de Luma/Partiful avec 200K+ utilisateurs, une plateforme fintech traitant 100K+ relevés bancaires, des plateformes AI d'entreprise complexes.
Les tâches sont légèrement sous-spécifiées (les agents doivent découvrir les détails d'implémentation), proches des briefings réels de tickets d'ingénierie.
Les agents accèdent à des outils natifs (AWS, Docker, Kubernetes, Git, PostgreSQL/MySQL/MongoDB, CI/CD, Slack, email, Drive) pour refléter un environnement d'entreprise complet.
Le benchmark mesure le "pass@1" (résolution correcte en une tentative), moyenné sur huit exécutions indépendantes avec intervalles de confiance à 95%.
Classement publié : Fable 5.1 (38,8%), GPT-6 Astra (33,8%), Gemini 3.8 Flash (31,2%), GLM 5.3 (28,8%), Grok 4.6 et Muse Spark 1.3 (23,8%), Kimi K3 (18,8%), GPT-5.6 Sol (16,2%).

Dans les commentaires

Plusieurs commentateurs ont développé leurs propres benchmarks similaires et rapportent une cohérence partielle avec Real-SWE, mais pas totale : springtimesun confirme que cette approche est viable mais fastidieuse à mettre en place, quand matheusmoreira cite des résultats sensiblement différents basés sur les révisions de code.
Un risque récurrent : contamination des données d'entraînement. lmeyerov note que les grandes codebases \'privées\' pourraient ne plus l'être vraiment, en particulier celles des modèles leaders (Claude, GPT). Pas de détail fourni sur comment Real-SWE mesure ou écarte ce risque.
skhameneh pointe l'absence de détails critiques : les niveaux de raisonnement (reasoning levels) ne sont pas publiés, et les harnesses varient (ce qui explique que les résultats de Real-SWE peuvent diverger d'ArtificialAnalysis et d'autres benchmarks). Il note aussi que Kimi K3 consomme plus de tokens, ce qui fausse le rapport qualité/coût.
Des écarts inexpliqués avec l'expérience terrain : glub rapporte que Fable lance des hypothèses fausses non vérifiées, alors que le benchmark le classe en tête ; prometheus1992 constate que les modèles classés bien (notamment Astra) commettent encore des erreurs triviales en production.
Plusieurs commentateurs (visiondude, freakynit, obilgic) observent que Gemini 3.8 Flash performe mieux dans leur utilisation réelle qu'il ne l'était dans les benchmarks précédents, ce qui crédibilise partiellement Real-SWE mais révèle aussi que les benchmarks antérieurs étaient inadéquats.
chandureddyvari et jstummbillig s'interrogent sur l'interprétation : les résultats dépendent fortement du harness utilisé et des outils disponibles, rendant difficile de savoir si un classement reflète vraiment la qualité du modèle ou la configuration du test.

Notre lecture

Real-SWE apporte une amélioration méthodologique notable par rapport aux benchmarks synthétiques, notamment en combinant codebases réelles, agents accédant à des outils complets et tâches sous-spécifiées. Cependant, la méthodologie n'est pas aussi rigoureuse qu'annoncée : absence de contrôle de contamination explicite, harnesses qui varient fortement, résultats qui ne s'alignent pas systématiquement sur l'expérience terrain ou d'autres benchmarks. Le classement (Fable 5.1 en tête, GPT-5.6 Sol en bas) surprend assez pour nourrir le doute. Valeur réelle pour une DSI : utiliser ce benchmark comme un signal parmi d'autres, pas comme une source unique de vérité. Si ton équipe fait du code review ou de l'assistance au codage, réplique cette méthodologie localement (comme springtimesun l'a fait) : c'est plus informatif et élimine le risque de contamination.