Arch: Ein modulares Edge- und KI-Gateway für agentenbasierte Anwendungen

Arch ist ein modularer Edge- und KI-Gateway-Proxy-Server, der entwickelt wurde, um die Erstellung agentenbasierter Anwendungen zu vereinfachen. Er übernimmt die mühsame Low-Level-Arbeit, wie das Anwenden von Schutzmaßnahmen, das Klären mehrdeutiger Benutzereingaben, das Weiterleiten von Prompts an den richtigen Agenten und die Vereinheitlichung des Zugriffs auf jedes LLM, sodass Entwickler agentenbasierte Anwendungen schneller erstellen und bereitstellen können. Basierend auf Envoy bietet Arch Funktionen wie Routing, Schutzmaßnahmen und Observability und unterstützt verschiedene Sprachen und Frameworks. Ein einfaches Beispiel für einen Währungsumrechnungsagenten zeigt die Benutzerfreundlichkeit, wobei die Interaktion über curl-Befehle erfolgt. Arch unterstützt sowohl modellbasierte als auch präferenzbasierte LLM-Routing-Strategien und bietet detaillierte Protokollierung und Observability.