Le problème caché de l'RL pour les LLM : pourquoi on n'améliore que les tâches faciles
En bref
- Un article de recherche met en lumière un biais systémique dans l'entraînement par renforcement des LLM : on améliore surtout les tâches que le modèle sait déjà bien faire.
- L'auteur appelle ce phénomène l'Effet Matthew (les riches deviennent plus riches) et montre que c'est visible sur AIME, le code, et les benchmarks agents.
- La cause n'est pas seulement le manque d'échantillons corrects sur les problèmes difficiles, mais aussi le temps de calcul gaspillé à réentraîner sur des problèmes faciles qui obtiennent des solutions rares mais incorrectes.
- Un paramètre contre-intuitif ressort des expériences : k=4 (4 complétions par prompt) résout mieux les problèmes difficiles que k=32, notamment après une certaine étape d'entraînement.
Dans les commentaires
Débat très limité : un commentaire techniques pertinent reste noyé, un commentaire signale des liens brisés, un autre déraille vers une anecdote de performance TypeScript sans lien avec l'article.
Lire la suiteRéduire
Notre lecture
L'observation de l'Effet Matthew sur l'RL pour LLM semble solide et bien documentée sur plusieurs domaines (math, code, agents), mais elle n'est pas révolutionnaire : la communauté RL sait depuis longtemps que les algorithmes de gradient épars (quand pas de signal = pas de mise à jour) régulent les zones d'amélioration. Ce qui est nouveau ici, c'est l'hypothèse que k petit améliore mieux les problèmes durs parce qu'on dépense moins de calcul en faux positifs sur les faciles. À tester et à creuser si vous entraînez vos propres LLM en RL. Pour la plupart des équipes, le sujet reste académique : c'est la version post-training fine-tuned qui en bénéficierait, pas les approches naïves d'RL sur une base existante.