Meta AI's COCONUT: Verbessertes LLM-Schlussfolgern mit Continuous Chain of Thought
2024-12-31
Meta AI stellt COCONUT (Continuous Chain of Thought) vor, eine neue Methode zur Verbesserung der Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLMs). Im Gegensatz zur traditionellen textbasierten Chain-of-Thought (CoT)-Methode ermöglicht COCONUT LLMs, in einem kontinuierlichen latenten Raum zu schließen und umgeht so die Einschränkungen der verbalen Ausdrucksfähigkeit. Studien zeigen, dass COCONUT bei Aufgaben mit komplexer Planung hervorragend abschneidet und ein breites Suchmuster (BFS-ähnlich) aufweist. Der mehrstufige Trainingsprozess leitet das Modell schrittweise an, im latenten Raum zu schließen, was letztendlich die Genauigkeit und Effizienz verbessert.
Mehr lesen