Pourquoi les LLM échouent en matière de créativité : le problème de la surprise
Les grands modèles de langage (LLM) ont du mal avec l'humour, l'art, le journalisme, la recherche et les sciences parce qu'ils sont fondamentalement conçus pour éviter les surprises. L'auteur soutient que l'humour, les bonnes histoires et les recherches percutantes reposent sur des éléments surprenants qui sont finalement inévitables avec le recul. Les LLM, entraînés à prédire le mot suivant, minimisent la surprise, ce qui donne un résultat prévisible et peu inspiré. Améliorer les LLM nécessite un changement vers une architecture axée sur la curiosité qui cherche activement et interprète des vérités surprenantes, plutôt que de simplement les éviter.
Lire plus