확률적 앵무새를 넘어: 거대 언어 모델의 회로

거대 언어 모델(LLM)은 단순히 훈련 데이터의 통계적 패턴을 암기하고 반복하는 '확률적 앵무새'에 불과하다고 일각에서 치부해 왔습니다. 하지만 최근 연구는 더욱 미묘한 현실을 보여줍니다. 연구자들은 이러한 모델 내부에 복잡한 내부 '회로'를 발견했습니다. 이는 특정 유형의 문제를 해결하기 위해 자가 학습된 알고리즘입니다. 이러한 회로는 훈련 데이터에 없는 상황에도 일반화할 수 있게 합니다. 예를 들어, 운율이 있는 시구를 생성하거나, 이러한 시구의 구조를 사전에 계획하는 것조차 가능합니다. 제한은 여전히 존재하지만, 이러한 발견은 '확률적 앵무새'라는 이야기에 이의를 제기하며, 모델 지능의 본질에 대한 더욱 심오한 질문을 제기합니다. LLM은 완전히 새로운 문제를 해결하기 위해 새로운 회로를 독립적으로 생성할 수 있을까요?