Kotlin-basierter Proxy für remote LLMs als lokales Modell: Ein Segen für den JetBrains AI Assistant

Aufgrund des begrenzten kostenlosen Kontingents des JetBrains AI Assistants entwickelte der Autor eine Kotlin/Ktor-Anwendung, die mehrere LLM-APIs wie OpenAI, Claude und Gemini als LM Studio und Ollama APIs proxyt, um deren Verwendung in JetBrains-IDEs zu ermöglichen. Unter Verwendung reflexionsfreier Funktionen wird sie als GraalVM-Native-Image für plattformübergreifende Kompatibilität und schnellen Start erstellt. Sie unterstützt Streaming-Chat, einfache Konfiguration und Hot-Reloading.