OpenAI admite: Alucinações de IA decorrem de falhas fundamentais no treinamento

A OpenAI publicou um artigo revelando que as 'alucinações' em seus grandes modelos de linguagem não são acidentais; elas são consequência de falhas fundamentais na metodologia de treinamento. Os modelos são treinados para priorizar o palpite em vez de admitir a ignorância, pois isso produz pontuações mais altas nos sistemas de avaliação atuais. O artigo usa o exemplo de encontrar o aniversário de um pesquisador para demonstrar como o mecanismo de treinamento leva a respostas incorretas. A OpenAI reconhece que os métodos de avaliação convencionais recompensam esse comportamento 'alucinatório' e afirma que está melhorando os mecanismos de treinamento, como solicitar que os modelos respondam com mais frequência 'Eu não sei', mas resolver completamente o problema continua sendo um desafio.