La crise de fiabilité des benchmarks d'agents IA
Les benchmarks actuels des agents IA souffrent d'une crise de fiabilité importante. De nombreux benchmarks contiennent des failles exploitables, conduisant à une surestimation ou une sous-estimation sévère des capacités des agents. Par exemple, WebArena marque des réponses incorrectes comme correctes, tandis que d'autres souffrent de simulateurs défectueux ou de méthodes d'évaluation non robustes. Des chercheurs proposent une liste de contrôle de 43 éléments pour les benchmarks d'agents IA (ABC) afin d'améliorer la fiabilité des benchmarks et d'évaluer 10 benchmarks populaires, révélant des failles majeures dans la plupart d'entre eux. Cette liste de contrôle vise à aider les développeurs de benchmarks et les développeurs de modèles IA à construire des méthodes d'évaluation plus fiables, permettant une évaluation plus précise des capacités des agents IA.
Lire plus