LLM関数呼び出しはスケールしない：コードオーケストレーションの方がシンプルで効果的
2025-05-21
ツール呼び出しの完全な出力をLLMにフィードバックするのはコストが高く、速度も遅い。この記事では、構造化データの取得を可能にする出力スキーマにより、LLMが生成されたコードを介して処理をオーケストレーションできることを主張しています。これは、よりシンプルで効果的なアプローチです。ツール出力が次のステップを決定するためにメッセージとしてLLMにフィードバックされる従来の方法では、小さなデータセットではうまく機能しますが、現実規模では失敗します（例：LinearとIntercomのMCPサーバーからの大きなJSONブロブ）。この記事では、コード実行をデータ処理の基本的な方法として提案し、変数をメモリとして使用し、コードを使用して複数の関数呼び出しをオーケストレーションして、スケーラブルなデータ処理を実現することで、大規模なデータセットを処理するLLMのコスト、速度、潜在的なデータ損失の問題を克服します。これには、現在初期開発段階にある、安全でステートレスなAIランタイム環境が必要です。
続きを読む