LLM 체인 호출을 넘어서: 효율적인 LLM을 위한 미분 가능한 라우팅

최신 LLM(대규모 언어 모델) 에이전트 아키텍처는 LLM 호출 체인에 크게 의존하고 있으며, 이로 인해 비용, 지연 시간, 확장성 저하가 발생합니다. 본 논문에서는 LLM에 의존하지 않고 도구 선택을 학습 가능한 함수로 모델링하는 미분 가능한 라우터를 소개합니다. 이 접근 방식은 강화 학습 또는 지도 학습 미세 조정을 통해 데이터에서 도구 선택을 학습하고 LLM 외부에서 작동합니다. 외부 API 호출을 피하고, 결정성과 구성 가능성을 향상시키며, 비용을 절감합니다. 실험 결과에 따르면, 이 방법은 비용을 크게 줄이고, 성능을 향상시키며, 모델 동작을 명확하게 하여 프롬프트 체인이 아닌 프로그램과 같은 LLM 시스템으로의 한 걸음을 나타냅니다.