Halluzinationen großer Sprachmodelle: Das fehlende Gedächtnis

Der Autor vergleicht die Informationsverarbeitung von Menschen und großen Sprachmodellen (LLMs), indem er eine persönliche Erfahrung mit einer Ruby-Bibliothek beschreibt. Menschen besitzen ein sedimentiertes Gedächtnis, das es ihnen ermöglicht, Herkunft und Zuverlässigkeit von Wissen zu erkennen und so willkürliche Vermutungen zu vermeiden. LLMs fehlt dieses erfahrungsbasierte Gedächtnis; ihr Wissen ähnelt eher vererbter DNA als erworbenen Fähigkeiten, was zu Halluzinationen führt. Der Autor argumentiert, dass die Lösung von Halluzinationen bei LLMs neue KI-Modelle erfordert, die in der Lage sind, in der realen Welt zu „leben“ und zu lernen.