Les appels de fonctions LLM ne sont pas évolutifs : l’orchestration de code est plus simple et plus efficace
Renvoyer la sortie complète des appels d’outils aux LLM est coûteux et lent. Cet article soutient que les schémas de sortie, permettant la récupération de données structurées, permettent aux LLM d’orchestrer le traitement via du code généré – une approche plus simple et plus efficace. Les méthodes traditionnelles, où les sorties des outils sont renvoyées au LLM sous forme de messages pour déterminer l’étape suivante, fonctionnent bien avec des petits ensembles de données, mais échouent à grande échelle (par exemple, de gros blobs JSON des serveurs MCP Linear et Intercom). L’article propose l’exécution de code comme méthode fondamentale de traitement des données, utilisant des variables comme mémoire et du code pour orchestrer plusieurs appels de fonctions pour un traitement de données évolutif, surmontant les problèmes de coût, de vitesse et de perte de données potentielle des LLM qui gèrent de grands ensembles de données. Cela nécessite des environnements d’exécution IA sécurisés et sans état, actuellement en développement initial.
Lire plus