Equilibrando Agência e Confiabilidade em Agentes de Suporte ao Cliente Baseados em LLM
Embora os Modelos de Linguagem Grandes (LLMs) sejam cada vez mais capazes de executar tarefas de alta agência, sua implantação em casos de uso de alto valor, como suporte ao cliente, exige priorizar a confiabilidade e a consistência. Pesquisas revelam que, embora agentes de alta agência se destaquem em ambientes ideais, o suporte ao cliente do mundo real apresenta desafios: lacunas de conhecimento, comportamento imprevisível do usuário e restrições de tempo. Para resolver isso, foi desenvolvida uma métrica nova, pass^k, e testada por meio de simulações de interações com clientes. Os resultados demonstram que agentes de alta agência sofrem com problemas de confiabilidade em tarefas complexas. A solução? O agente "Give Fin a Task", que melhora a confiabilidade restringindo a autonomia do agente e empregando instruções passo a passo, decompondo tarefas complexas em módulos mais simples. Essa abordagem oferece um caminho promissor para melhorar o desempenho do LLM no suporte ao cliente do mundo real.
Leia mais