Ollama Turbo:オープンソースLLMを高速実行
Ollama Turboは、データセンターグレードのハードウェアを使用して、大規模なオープンソース言語モデルを実行する新しい方法です。多くの新しいモデルは、一般的に利用可能なGPUでは大きすぎるか、非常に遅く実行されます。Ollama Turboは、Ollamaのアプリ、CLI、APIと互換性があり、これらのモデルを高速に実行するためのソリューションを提供します。現在プレビュー版では、gpt-oss-20bとgpt-oss-120bモデルが利用可能です。OllamaのCLI、API、JavaScript/Pythonライブラリと連携します。重要なのは、OllamaはTurboモードで行われたクエリをログに記録したり、保持したりしません。すべてのハードウェアは米国に設置されています。容量の問題を回避するために、時間単位と日単位の使用制限があり、近々利用ベースの価格設定が導入されます。
続きを読む