Ollama Turbo:オープンソースLLMを高速実行

2025-08-06
Ollama Turbo:オープンソースLLMを高速実行

Ollama Turboは、データセンターグレードのハードウェアを使用して、大規模なオープンソース言語モデルを実行する新しい方法です。多くの新しいモデルは、一般的に利用可能なGPUでは大きすぎるか、非常に遅く実行されます。Ollama Turboは、Ollamaのアプリ、CLI、APIと互換性があり、これらのモデルを高速に実行するためのソリューションを提供します。現在プレビュー版では、gpt-oss-20bとgpt-oss-120bモデルが利用可能です。OllamaのCLI、API、JavaScript/Pythonライブラリと連携します。重要なのは、OllamaはTurboモードで行われたクエリをログに記録したり、保持したりしません。すべてのハードウェアは米国に設置されています。容量の問題を回避するために、時間単位と日単位の使用制限があり、近々利用ベースの価格設定が導入されます。

続きを読む
AI

Ollama、LLMとの対話を容易にするデスクトップアプリをリリース

2025-07-31
Ollama、LLMとの対話を容易にするデスクトップアプリをリリース

Ollamaは、macOSとWindows向けの新しいデスクトップアプリケーションをリリースし、大規模言語モデルとの対話をより効率的に行えるようにしました。このアプリは、ドラッグアンドドロップによるファイルアップロード(テキストまたはPDF)をサポートしており、ドキュメントの処理が容易になります。設定でコンテキストの長さを増やすことで、より大きなファイルの処理も可能ですが(より多くのメモリが必要)、画像をGoogle DeepMindのGemma 3などの互換性のあるモデルに送信できるマルチモーダルサポートや、コードファイルの処理による理解も可能です。コマンドラインインターフェース版も利用できます。

続きを読む
開発

Ollamaの新しいマルチモーダルエンジン:ビジョンモデルのローカル推論

2025-05-16
Ollamaの新しいマルチモーダルエンジン:ビジョンモデルのローカル推論

Ollamaは、Llama 4 ScoutやGemma 3などのビジョンモデルから始まる、マルチモーダルモデルのローカル推論をサポートする新しいエンジンをリリースしました。このエンジンは、マルチモーダルモデルに対するggmlライブラリの制限に対処し、大規模な画像や複雑なアーキテクチャ(Mixture-of-Expertsモデルを含む)に対する信頼性が高く効率的な推論のために、モデルのモジュール性、精度、メモリ管理を向上させます。精度と信頼性への焦点は、将来の音声、画像生成、より長いコンテキストのサポートの基盤となります。

続きを読む

GoogleのGemma:軽量なマルチモーダルモデルファミリー

2025-03-12
GoogleのGemma:軽量なマルチモーダルモデルファミリー

Googleは、Geminiテクノロジーを基盤とした軽量なマルチモーダルモデルファミリーであるGemmaを発表しました。Gemma 3モデルはテキストと画像を処理し、128Kのコンテキストウィンドウと140以上の言語をサポートしています。パラメータサイズは1B、4B、12B、27Bとあり、質問応答、要約、推論などのタスクで優れた性能を発揮します。コンパクトな設計により、リソースの限られたデバイスへの展開も可能です。ベンチマークの結果は、様々なタスク、特に多言語およびマルチモーダル機能において、高いパフォーマンスを示しています。

続きを読む

DeepSeek-R1:OpenAI-o1に匹敵する性能の推論モデルファミリー

2025-01-21
DeepSeek-R1:OpenAI-o1に匹敵する性能の推論モデルファミリー

DeepSeekは、OpenAI-o1に匹敵する性能を持つ最初の推論モデルファミリーであるDeepSeek-R1をリリースしました。このシリーズは、1.5Bから70Bパラメータまでの様々なサイズのモデルを含んでおり、Ollamaを使用して簡単に実行できます。DeepSeek-R1は、数学、コード、推論タスクで優れた性能を発揮し、AI分野における新たな競争力を生み出しています。

続きを読む
AI

マイクロソフト、140億パラメーターのオープンソース言語モデルPhi-4を発表

2025-01-12
マイクロソフト、140億パラメーターのオープンソース言語モデルPhi-4を発表

マイクロソフトは、140億パラメーターを持つ新しいオープンソース言語モデルPhi-4を発表しました。合成データ、フィルタリングされたパブリックドメインのウェブサイトデータ、学術書籍、Q&Aデータセットを組み合わせ、構築されています。Phi-4は厳格な強化と調整プロセスを経ており、正確な命令の遵守と堅牢な安全対策を保証しています。コンテキスト長は16kトークンで、メモリ/計算リソースが制限された環境、低レイテンシのシナリオ、推論と論理能力を必要とする汎用AIシステムおよびアプリケーション(主に英語)を対象としています。マイクロソフトは、開発者が言語モデルの一般的な制約を考慮し、特に高リスクのシナリオにおいて、精度、安全、公平性を評価し、軽減する必要があることを強調しています。

続きを読む
AI