Grenzen von LLMs: Einsteins Rätsel enthüllt die Grenzen der Transformer-basierten KI

Forscher haben fundamentale Grenzen in der Fähigkeit aktueller Transformer-basierter Large Language Models (LLMs) entdeckt, kompositionelle Denkaufgaben zu lösen. Experimente mit Einsteins Logikrätsel und mehrstelliger Multiplikation zeigten erhebliche Mängel, selbst nach umfangreichem Feintuning. Diese Ergebnisse stellen die Eignung der Transformer-Architektur für universelles Lernen in Frage und führen zu Untersuchungen alternativer Ansätze, wie z. B. verbesserte Trainingsdaten und Chain-of-Thought-Prompting, um die Fähigkeiten von LLMs im logischen Schließen zu verbessern.