LLM-Funktionsaufrufe skalieren nicht: Code-Orchestrierung ist einfacher und effektiver

Die vollständige Ausgabe von Funktionsaufrufen an LLMs zurückzuspeisen ist teuer und langsam. Dieser Artikel argumentiert, dass Ausgabeschemata, die das Abrufen strukturierter Daten ermöglichen, LLMs erlauben, die Verarbeitung über generierten Code zu orchestrieren – ein einfacherer und effektiverer Ansatz. Traditionelle Methoden, bei denen die Ausgaben von Tools als Nachrichten an das LLM zurückgegeben werden, um den nächsten Schritt zu bestimmen, funktionieren gut bei kleinen Datensätzen, scheitern aber im realen Maßstab (z. B. große JSON-Blobs von Linear- und Intercom-MCP-Servern). Der Artikel schlägt die Codeausführung als grundlegende Methode zur Datenverarbeitung vor, wobei Variablen als Speicher verwendet werden und Code mehrere Funktionsaufrufe für eine skalierbare Datenverarbeitung orchestriert, wodurch die Probleme mit Kosten, Geschwindigkeit und potenziellen Datenverlusten von LLMs behoben werden, die große Datensätze verarbeiten. Dies erfordert sichere, zustandslose AI-Laufzeitumgebungen, die sich derzeit in der frühen Entwicklung befinden.