Über autoregressive Modelle hinaus: Die nächste Grenze der KI
Die meisten generativen KI-Modelle sind heute autoregressiv, d. h., sie sagen das nächste Token voraus, wobei die Transformer-Architektur aufgrund ihrer Rechenleistung die dominierende Implementierung ist. Autoregressive Modelle haben jedoch inhärente Einschränkungen, wie z. B. fehlende Planungs- und Schlussfolgerungsfähigkeiten, begrenztes Langzeitgedächtnis und die Neigung zu „Halluzinationen“. Der Autor argumentiert, dass menschliches Denken nicht rein autoregressiv ist, sondern nicht-sequenzielles Denken und Planung umfasst. Um eine KI zu erreichen, die der menschlichen Kognition näher kommt, erforschen Forscher alternative Paradigmen wie JEPA und Diffusionsmodelle, die Inhalte durch iterative Verfeinerung oder Entrauschen von Rauschen erzeugen und die menschlichen Denkprozesse genauer widerspiegeln.
Mehr lesen