Meta AI의 COCONUT: 연속적 사고 연쇄를 통한 LLM 추론 능력 향상
2024-12-31
Meta AI는 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 새로운 방법인 COCONUT(연속적 사고 연쇄)을 발표했습니다. 기존의 텍스트 기반 Chain-of-Thought(CoT)와 달리 COCONUT은 LLM이 연속적인 잠재 공간에서 추론할 수 있도록 하여 언어 표현의 제약을 피합니다. 연구에 따르면 COCONUT은 복잡한 계획이 필요한 작업에서 뛰어난 성능을 보이며, 너비 우선 탐색(BFS)과 유사한 추론 패턴을 보입니다. 다단계 교육 과정은 모델이 잠재 공간에서 추론하는 것을 단계적으로 학습하도록 안내하여 최종적으로 정확도와 효율성을 향상시킵니다.
더 보기