LLM客服代理的可靠性与自主性权衡

大型语言模型（LLM）在高自主性任务中的能力显著提升，但应用于高价值场景（如客户支持）时，可靠性和一致性同样关键。研究发现，高自主性代理在理想环境下表现出色，但在处理客户支持任务时，由于知识缺口、用户行为不可预测和时间限制等因素，可靠性下降。为解决此问题，研究人员提出了一种新的度量方法pass^k，并通过模拟真实用户交互进行测试，结果表明，高自主性代理在复杂任务中的可靠性较低。为提高可靠性，研究人员开发了“Give Fin a Task”代理，通过限制代理自主性，采用分步式指令，将复杂任务分解为更简单的模块，从而显著提高了可靠性，为LLM在客户支持领域的应用提供了新的方向。