Las llamadas a funciones LLM no escalan; la orquestación de código es más simple y eficaz

Alimentar la salida completa de las llamadas a herramientas de vuelta a los LLM es costoso y lento. Este artículo argumenta que los esquemas de salida, que permiten la recuperación de datos estructurados, permiten que los LLM organicen el procesamiento mediante código generado: un enfoque más simple y eficaz. Los métodos tradicionales, donde las salidas de las herramientas se devuelven al LLM como mensajes para determinar el siguiente paso, funcionan bien con conjuntos de datos pequeños, pero fallan a escala real (por ejemplo, grandes blobs JSON de los servidores MCP Linear e Intercom). El artículo propone la ejecución de código como un método fundamental de procesamiento de datos, utilizando variables como memoria y código para orquestar varias llamadas a funciones para el procesamiento de datos escalable, superando los problemas de costo, velocidad y posible pérdida de datos de los LLM que manejan grandes conjuntos de datos. Esto requiere entornos de tiempo de ejecución de IA seguros y sin estado, actualmente en desarrollo inicial.