LLM 함수 호출은 확장되지 않습니다. 코드 오케스트레이션이 더 간단하고 효과적입니다.
2025-05-21
툴 호출의 전체 출력을 LLM에 다시 제공하는 것은 비용이 많이 들고 속도가 느립니다. 이 기사에서는 구조화된 데이터 검색을 가능하게 하는 출력 스키마를 통해 LLM이 생성된 코드를 통해 처리를 오케스트레이션할 수 있다고 주장합니다. 이것은 더 간단하고 효과적인 접근 방식입니다. 툴 출력이 다음 단계를 결정하기 위해 메시지로 LLM에 다시 제공되는 기존 방법은 작은 데이터 세트에서는 잘 작동하지만 실제 규모에서는 실패합니다(예: Linear 및 Intercom MCP 서버의 큰 JSON 블롭). 이 기사에서는 코드 실행을 데이터 처리의 기본적인 방법으로 제안하고 변수를 메모리로 사용하며 코드를 사용하여 여러 함수 호출을 오케스트레이션하여 확장 가능한 데이터 처리를 구현함으로써 대규모 데이터 세트를 처리하는 LLM의 비용, 속도 및 잠재적인 데이터 손실 문제를 극복합니다. 여기에는 현재 초기 개발 단계에 있는 안전하고 상태 비저장 AI 런타임 환경이 필요합니다.
더 보기
개발
코드 오케스트레이션