LLM函数调用难以扩展：代码编排更简单高效
2025-05-21
直接将工具调用的完整输出反馈给大型语言模型（LLM）成本高且速度慢。文章指出，使用输出模式获取结构化数据，让LLM通过生成的代码来编排处理过程，是一种更简单高效的方法。传统方法中，将工具输出作为消息反馈给LLM，让其决定下一步操作，在数据量小时有效，但面对真实世界的大量数据（例如，从Linear和Intercom的MCP服务器获取的JSON数据），这种方法会迅速失效。文章建议使用代码执行作为数据处理的基本方式，利用变量作为内存，通过代码编排多个函数调用，实现可扩展的数据处理，并解决LLM处理大量数据时存在的成本高、速度慢和可能丢失数据的问题。 这需要构建安全的、无状态的AI运行时环境，目前仍处于早期阶段。
阅读更多
开发
代码编排