A Crise de Confiabilidade nos Benchmarks de Agentes de IA

Os benchmarks atuais de agentes de IA sofrem de uma crise significativa de confiabilidade. Muitos benchmarks contêm falhas exploráveis, levando a uma superestimação ou subestimação severa das capacidades dos agentes. Por exemplo, o WebArena marca respostas incorretas como corretas, enquanto outros sofrem de simuladores com defeito ou métodos de avaliação não robustos. Os pesquisadores propõem uma lista de verificação de Benchmark de Agente de IA (ABC) de 43 itens para melhorar a confiabilidade do benchmark e avaliar 10 benchmarks populares, encontrando falhas importantes na maioria. Esta lista de verificação visa ajudar os desenvolvedores de benchmarks e os desenvolvedores de modelos de IA a construir métodos de avaliação mais confiáveis, permitindo uma avaliação mais precisa das capacidades dos agentes de IA.