告别链式LLM调用：可微分路由器提升大型语言模型效率
2025-07-06
现代大型语言模型(LLM)代理架构严重依赖链式LLM调用，导致成本高、延迟大且可扩展性差。本文提出了一种可微分路由器，它将工具选择建模为可训练函数，而非依赖LLM。这种方法通过强化学习或监督微调从数据中学习工具选择，在LLM外部运行，避免了外部API调用，提高了确定性和可组合性，并降低了成本。实验结果表明，该方法显著降低了成本，提高了性能，并使模型行为更清晰，标志着LLM系统从提示链向程序化迈进了一步。
阅读更多
AI
代理架构