Transformer²: Selbstlernende LLMs erreichen neuen Meilenstein
Transformer² ist ein neuartiges Machine-Learning-System, das seine Gewichte für verschiedene Aufgaben dynamisch anpasst. Inspiriert von den Anpassungsmechanismen der Natur, wie einem Tintenfisch, der seine Farbe ändert, oder dem Gehirn, das sich nach einer Verletzung neu verkabelt, ermöglicht es Large Language Models (LLMs), sich in Echtzeit an neue Aufgaben anzupassen. Mittels Singular Value Decomposition (SVD) und Reinforcement Learning (RL) zerlegt Transformer² die Modellgewichte in unabhängige Komponenten und lernt, diese optimal für verschiedene Aufgaben zu kombinieren, darunter Mathematik, Programmierung, logisches Denken und visuelles Verständnis. Die Ergebnisse zeigen, dass Transformer² traditionelle statische Ansätze wie LoRA in Bezug auf Effizienz und aufgabenspezifische Leistung übertrifft und dabei deutlich weniger Parameter benötigt. Diese Arbeit ebnet den Weg für den Bau von "lebendiger Intelligenz"-AI-Systemen, die kontinuierlich lernen und sich weiterentwickeln.
Mehr lesen