Por que LLMs falham em criatividade: o problema da surpresa

Modelos de linguagem grandes (LLMs) têm dificuldades com comédia, arte, jornalismo, pesquisa e ciência porque são fundamentalmente projetados para evitar surpresas. O autor argumenta que humor, boas histórias e pesquisas impactantes dependem de elementos surpreendentes que são, em última análise, inevitáveis em retrospecto. LLMs, treinados para prever a próxima palavra, minimizam a surpresa, resultando em uma saída previsível e pouco inspirada. Melhorar LLMs requer uma mudança para uma arquitetura orientada pela curiosidade que busca ativamente e interpreta verdades surpreendentes, em vez de simplesmente evitá-las.