Echtzeit-Introspektive Kompression: Transformers ein Gewissen geben
Große Sprachmodelle (LLMs) leiden unter zwei Hauptbeschränkungen: Mangelnde Introspektion und flüchtiges Denken. Dieser Artikel schlägt eine neuartige Echtzeit-introspektive Kompressionsmethode vor, die beide Probleme angeht. Ein leichtgewichtiges „Nebenläufer“-Modell wird trainiert, um die internen Zustände eines Transformators zu komprimieren, wodurch effizienter Zugriff und Wiedergabe des internen Modellverhaltens ermöglicht werden. Die Methode komprimiert die Transformatorzustände in einen niedrigdimensionalen latenten Raum, ähnlich dem Speichern eines Spielstands, und umgeht so das rechnerische Problem der Speicherung des vollständigen Zustands. Dies ermöglicht neue Fähigkeiten wie das Zurückverfolgen des Denkens, Reinforcement Learning über Denktrajektorien und speichereffizientes Checkpointing, was letztendlich zu leistungsfähigeren und interpretierbareren KI-Systemen führt.