Chamadas de função LLM não escalam; orquestração de código é mais simples e eficaz
Alimentar a saída completa das chamadas de ferramentas de volta aos LLMs é caro e lento. Este artigo argumenta que os esquemas de saída, permitindo a recuperação de dados estruturados, permitem que os LLMs orquestrem o processamento por meio de código gerado – uma abordagem mais simples e eficaz. Os métodos tradicionais, onde as saídas das ferramentas são alimentadas de volta ao LLM como mensagens para determinar a próxima etapa, funcionam bem com conjuntos de dados pequenos, mas falham em escala real (por exemplo, grandes blobs JSON de servidores MCP Linear e Intercom). O artigo propõe a execução de código como um método fundamental de processamento de dados, usando variáveis como memória e código para orquestrar várias chamadas de função para processamento de dados escalonável, superando os problemas de custo, velocidade e potencial perda de dados dos LLMs que lidam com grandes conjuntos de dados. Isso requer ambientes de tempo de execução de IA seguros e sem estado, atualmente em desenvolvimento inicial.
Leia mais