Artificial Analysis Intelligence Index v5.0 : nouvelle méthodologie de benchmarking LLM
Sommaire
En bref
- Artificial Analysis publie la v5.0 de son indice de benchmarking pour modèles de langage, combinant 9 évaluations réparties sur quatre catégories (travail de connaissance, codage, science, culture générale) à poids égaux.
- La suite intègre des tests de raisonnement complexe, d'exécution de code, de manipulation d'outils agentic et de tâches autonomes en contexte réel.
- Les auteurs présentent cette approche comme plus pertinente que les benchmarks existants, mais le texte technique n'offre pas d'analyse critique de ses propres limites.
Ce que dit la source
Artificial Analysis affirme que son indice v5.0 constitue une synthèse plus utile pour comparer les modèles de langage que tout autre métrique existante. La méthodologie combine neuf évaluations couvrant le travail de connaissance (tâches agentic, automatisation SaaS, analyse de longs documents), le codage (changements de code en production, exécution terminal), la science (tâches terminales spécialisées, calcul symbolique) et la culture générale (questions ouvertes, hallucination). Chaque catégorie pèse 25 %, avec des taux de répétition et des méthodes de scoring variables selon le type de tâche.
- AA-Briefcase v1.1 évalue 91 tâches agentic avec fichiers en sortie sur quatre scénarios, noté via comparaisons par paires basées sur l'Elo et l'évaluation par rubrique
- AutomationBench-AA teste 657 tâches d'automatisation SaaS via API REST, avec crédit zéro si une guardrail est déclenchée
- GDP.pdf : 100 tâches sur 10 domaines fondées sur la compréhension d'un long PDF, répétées 5 fois, évaluées par rubrique LLM
- FrontierCode 2.0 couvre 1 323 changements de code dans des dépôts open source, jugés par suite de tests et juge LLM ; failing un check bloquant annule le score
- Terminal-Bench 4.0 mesure 663 exécutions de tâches terminal avec pass@1, suite de tests objective
- HLE-Diamond : 1 000 questions (500 raisonnement, 500 connaissance), notation par vérificateur d'égalité LLM, pass@1
- CritPt v2 (Hard Subset) évalue 40 fonctions Python et expressions symboliques (5 répétitions), accès à un serveur de notation officiel
- L'indice exclut volontairement les évaluations visuelles et multilingues du score principal ; ces compétences sont mesurées séparément via Global-MMLU-Lite et une couverture de 19 langues
Dans les commentaires
Débat extrêmement limité : un seul commentaire substantif pointe que c'est un doublon d'un post antérieur. Aucun débat technique, aucune critique de la méthodologie, aucun témoignage d'utilisation.
- Un commentateur signale qu'il s'agit d'un doublon (https://news.ycombinator.com/item?id=50268868) : le même sujet avait déjà été posté quelques heures avant, ce qui explique le volume de commentaires très faible et la quasi-absence de discussion.
Notre lecture
Le post lui-même manque d'angle d'attaque : c'est une documentation technique pure (méthodologie, liste de benchmarks, poids) sans analyse critique ni exemple comparatif concret (quels modèles classent où, quels écarts cela produit). Pour un lectorat technique, cela demeure une ressource utile pour comprendre comment Artificial Analysis construit ses scores, mais sans débat HN constructif ni contextualisation claire des choix méthodologiques (pourquoi 25 % partout, pas d'autres poids ; comment cette v5.0 améliore la v4.0, etc.). À consulter si tu construis ta propre stratégie d'évaluation LLM, mais probablement pas une lecture prioritaire pour une DSI cherchant à évaluer des modèles en contexte métier.