LabRobotBench : évaluer les agents IA sur des tâches de robotique biologique
Sommaire
En bref
- Gamow Labs présente LabRobotBench v0.1, un benchmark évaluant comment les modèles IA gèrent des workflows expérimentaux en laboratoire robotisé.
- Les agents testés doivent diagnostiquer les pannes, respecter les délais biologiques critiques et optimiser l'ordre des tâches en concurrence.
- Les modèles actuels (GPT 6.1, Claude Opus 5.5, Gemini 4) obtiennent entre 20 % et 47 % de réussite sur des cas de récupération d'expériences interrompues.
Ce que dit la source
Gamow Labs constate que les robots de laboratoire s'arrêtent fréquemment sur erreur, laissant les expériences en suspens et exigeant une intervention humaine. L'entreprise propose un benchmark pour évaluer si les agents IA peuvent diagnostiquer les problèmes, reprendre les expériences en toute sécurité et maintenir la continuité des workflows biologiques complexes, notamment en respectant les contraintes temporelles critiques (délais de mesure, température de stockage, etc.).
- LabRobotBench teste trois capacités centrales : récupérer une expérience interrompue (identifiant l'étape complétée et reprenant le workflow), gérer les priorités quand plusieurs tâches concourent pour la même ressource robot, et respecter les délais biologiques stricts (30 minutes pour une mesure post-traitement, 240 secondes hors réfrigération)
- GPT 6.1 atteint 46,7 % de réussite, Claude Opus 5.5 23,0 %, Gemini 4 20,9 %
- Les erreurs observées incluent : omettre une étape chimique (Opus laisse un essai incomplet), violer un délai (Gemini stocke les supplies 182 secondes trop tard), ou clôturer une mesure hors délai (GPT finit 42,5 secondes après le deadline)
- Le benchmark utilise une simulation en silico miroir des interfaces de commande des robots physiques de Gamow Labs, permettant d'entraîner et évaluer les agents sans dégâts matériels
Dans les commentaires
Peu de débat substantiel sur ce fil (un seul commentaire exploitable posant une question logistique sur l'accès au benchmark, sans réponse fournie).
- Un commentateur demande comment accéder au dataset et lancer les benchmarks, mais cette question reste sans réponse dans les commentaires fournis, laissant en suspens la question de la reproductibilité et de la disponibilité des données.
Notre lecture
Gamow Labs présente un benchmark technique pertinent pour un problème concret : la continuité opérationnelle des laboratoires robotisés. Les résultats montrent que les modèles actuels maîtrisent mal les contraintes multiples (timing biologique strict + gestion des priorités + diagnostic). Ce benchmark s'adresse surtout aux équipes de développement de modèles et aux groupes travaillant sur l'automatisation de laboratoire. Pour une DSI généraliste, c'est un signal intéressant sur les limites des agents IA dans les contextes à fortes contraintes physiques et biologiques, mais sans conséquence immédiate d'action. Reste à surveiller si le benchmark devient un standard du domaine et si des modèles rompent la barrière des 50 %.