Proxy LLM Remoto como Modelo Local em Kotlin: Uma Benção para o Assistente de IA do JetBrains

2025-05-03
Proxy LLM Remoto como Modelo Local em Kotlin: Uma Benção para o Assistente de IA do JetBrains

Devido à cota gratuita limitada do Assistente de IA do JetBrains, o autor desenvolveu um aplicativo Kotlin/Ktor que funciona como proxy para várias APIs de LLM, como OpenAI, Claude e Gemini, como APIs do LM Studio e Ollama, permitindo seu uso em IDEs do JetBrains. Aproveitando recursos sem reflexão, ele é construído como uma imagem nativa do GraalVM para compatibilidade multiplataforma e inicialização rápida. Suporta bate-papo em streaming, possui configuração fácil e recarregamento a quente.