대규모 추론 모델: 붕괴와 반직관적인 확장성

최근의 최첨단 대규모 언어 모델(LLM)은 답을 제공하기 전에 자세한 추론 과정을 생성하는 대규모 추론 모델(LRM)을 만들어냈습니다. 이러한 모델은 추론 벤치마크에서 성능이 향상되었지만, 기본적인 기능, 확장성, 한계는 아직 충분히 이해되지 않았습니다. 본 연구에서는 제어 가능한 퍼즐 환경을 사용하여 LRM의 추론 능력을 체계적으로 조사합니다. 그 결과, LRM은 특정 복잡성을 초과하면 완전한 정확도 붕괴를 보이고, 직관에 반하는 확장성 한계를 보이는 것으로 나타났습니다. 즉, 추론 노력은 문제의 복잡성이 증가함에 따라 증가하지만, 어느 시점을 넘어서면 충분한 토큰 예산이 있어도 감소합니다. 또한, LRM은 정확한 계산에 한계가 있으며, 명시적인 알고리즘을 사용할 수 없고, 퍼즐 간에 모순된 추론을 하는 것으로 나타났습니다. 본 연구는 LRM의 장점, 단점, 그리고 진정한 추론 능력에 대한 중요한 질문을 밝힙니다.