Kotlinで構築されたローカルLLMプロキシ:JetBrains AIアシスタントの福音

2025-05-03
Kotlinで構築されたローカルLLMプロキシ:JetBrains AIアシスタントの福音

JetBrains AIアシスタントの無料枠が制限されているため、作者はKotlin/Ktorアプリケーションを開発しました。これは、OpenAI、Claude、Geminiなどの複数のLLM APIをLM StudioおよびOllama APIとしてプロキシし、JetBrains IDEで使用できるようにします。反射を使用しない機能を利用して、GraalVMネイティブイメージとして構築されており、クロスプラットフォームと高速起動を実現しています。ストリーミングチャットをサポートし、構成が容易で、ホットリロードも可能です。

開発