Warum LLMs bei Kreativität versagen: Das Überraschungsproblem

Große Sprachmodelle (LLMs) haben Schwierigkeiten mit Komödie, Kunst, Journalismus, Forschung und Wissenschaft, weil sie grundsätzlich so konzipiert sind, dass sie Überraschungen vermeiden. Der Autor argumentiert, dass Humor, gute Geschichten und wirkungsvolle Forschung alle auf überraschenden Elementen beruhen, die letztendlich im Nachhinein unvermeidlich sind. LLMs, die darauf trainiert sind, das nächste Wort vorherzusagen, minimieren Überraschungen, was zu vorhersehbaren und wenig inspirierten Ergebnissen führt. Die Verbesserung von LLMs erfordert einen Wandel hin zu einer neugiergetriebenen Architektur, die aktiv nach überraschenden Wahrheiten sucht und diese interpretiert, anstatt sie einfach zu vermeiden.