Kotlin으로 구축된 로컬 LLM 프록시: JetBrains AI 어시스턴트의 희소식

JetBrains AI 어시스턴트의 무료 할당량이 제한적이기 때문에, 저자는 Kotlin/Ktor 애플리케이션을 개발했습니다. 이 애플리케이션은 OpenAI, Claude, Gemini 등 여러 LLM API를 LM Studio 및 Ollama API로 프록시하여 JetBrains IDE에서 사용할 수 있도록 합니다. 반사 기능을 사용하지 않고 GraalVM 네이티브 이미지로 빌드되어 크로스 플랫폼 및 빠른 시작을 지원합니다. 스트리밍 채팅을 지원하며, 구성이 간편하고 핫 리로딩도 가능합니다.