Teste de Aleatoriedade de LLMs Revela Viés Inesperado
Este experimento testou a aleatoriedade de vários Modelos de Linguagem Grandes (LLMs) da OpenAI e Anthropic. Ao fazer com que os modelos jogassem uma moeda e previssem números aleatórios entre 0 e 10, os pesquisadores descobriram um viés significativo em suas saídas, revelando que eles não são realmente aleatórios. Por exemplo, no experimento de jogar moeda, todos os modelos mostraram preferência por 'cara', com o GPT-o1 exibindo o viés mais extremo em 49%. Na previsão de números pares/ímpares, a maioria dos modelos favoreceu números ímpares, com o Claude 3.7 Sonnet exibindo o viés mais forte em 47%. As descobertas destacam que mesmo LLMs avançados podem exibir padrões inesperados influenciados por suas distribuições de dados de treinamento.
Leia mais
.png)