Proxy LLM distant comme modèle local en Kotlin : une aubaine pour l’assistant IA de JetBrains
2025-05-03
En raison de la limitation du quota gratuit de l’assistant IA de JetBrains, l’auteur a développé une application Kotlin/Ktor qui agit comme proxy pour plusieurs API LLM, telles qu’OpenAI, Claude et Gemini, en tant qu’API LM Studio et Ollama, permettant leur utilisation dans les IDE JetBrains. Tirant parti de fonctionnalités sans réflexion, elle est construite comme une image native GraalVM pour une compatibilité multiplateforme et un démarrage rapide. Elle prend en charge le chat en streaming, une configuration simple et le rechargement à chaud.
Développement
Assistant IA JetBrains