OpenAI prova matematicamente: Por que as alucinações do ChatGPT podem ser permanentes?
Um novo artigo de pesquisa da OpenAI prova matematicamente por que grandes modelos de linguagem, como o ChatGPT, 'alucinam' – inventando fatos com confiança. Isso não é simplesmente um problema de treinamento; é matematicamente inevitável devido à natureza probabilística da previsão de palavras. Mesmo dados perfeitos não eliminariam o problema. O artigo também revela um sistema de avaliação falho que penaliza a incerteza, incentivando os modelos a adivinhar em vez de admitir ignorância. Embora a OpenAI proponha uma solução baseada em confiança, ela afetaria drasticamente a experiência do usuário e os custos computacionais, tornando-a impraticável para aplicativos de consumo. Até que os incentivos comerciais mudem, as alucinações em LLMs provavelmente persistirão.