LLM을 위한 무한한 도구 사용 패러다임

이 글에서는 대규모 언어 모델(LLM)을 위한 새로운 패러다임인 무한한 도구 사용을 제안합니다. 이 패러다임은 LLM이 도구 호출과 그 인수만 출력하고 복잡한 작업을 도구 호출 시퀀스로 분해하는 것을 제안합니다. 이를 통해 기존 LLM이 긴 텍스트와 복잡한 작업을 처리할 때 직면하는 컨텍스트 창의 제한과 오류 누적 문제를 해결할 수 있습니다. 외부 도구(텍스트 편집기, CAD 소프트웨어 등)를 통해 LLM은 다중 수준의 텍스트 생성, 3D 모델링 등을 수행하고 컨텍스트 정보를 효과적으로 관리할 수 있습니다. 이 접근 방식은 LLM의 효율성과 정확성을 향상시킬 뿐만 아니라 안전성도 높입니다. 모델은 복잡한 작업을 수행하기 위해 도구를 명확하게 사용해야 하므로 오해의 소지가 있는 출력이 줄어들기 때문입니다. 훈련은 주로 강화 학습에 의존하며 무한한 컨텍스트 길이 문제에 대처하기 위해 LLM의 '망각성'을 활용합니다.