Más Allá de las Cadenas de Llamadas LLM: Enrutamiento Diferenciable para LLMs Eficientes
Las arquitecturas modernas de agentes de modelos de lenguaje grande (LLM) dependen en gran medida de la concatenación de llamadas LLM, lo que resulta en altos costos, latencia y poca escalabilidad. Este artículo presenta un enrutador diferenciable que modela la selección de herramientas como una función entrenable, en lugar de depender de LLMs. Este enfoque aprende la selección de herramientas a partir de datos mediante aprendizaje por refuerzo o ajuste fino supervisado, funcionando fuera del LLM. Evita las llamadas a API externas, mejora el determinismo y la composabilidad y reduce los costos. Los experimentos muestran que este método reduce significativamente los costos, mejora el rendimiento y aclara el comportamiento del modelo, marcando un paso hacia sistemas LLM que se parecen menos a cadenas de indicaciones y más a programas.