Über stochastische Papageien hinaus: Die Schaltkreise großer Sprachmodelle
Große Sprachmodelle (LLMs) wurden von einigen als bloße „stochastische Papageien“ abgetan, die lediglich statistische Muster aus ihren Trainingsdaten auswendig lernen und wiedergeben. Neuere Forschungsergebnisse zeigen jedoch eine differenziertere Realität. Forscher haben komplexe interne „Schaltkreise“ entdeckt – selbstlernende Algorithmen, die bestimmte Problemklassen lösen – innerhalb dieser Modelle. Diese Schaltkreise ermöglichen die Generalisierung auf ungesehene Situationen, wie das Generieren von reimenden Couplets und sogar die proaktive Planung der Struktur dieser Couplets. Obwohl Einschränkungen bestehen, widerlegen diese Erkenntnisse die Erzählung vom „stochastischen Papagei“ und werfen tiefere Fragen nach der Natur der Modellintelligenz auf: Können LLMs unabhängig neue Schaltkreise generieren, um völlig neue Probleme zu lösen?