671BパラメーターのDeepSeek R1モデルのローカル展開
2025-01-31
この記事では、Ollamaを使用して671BパラメーターのDeepSeek R1大規模言語モデルをローカルに展開した経験について詳述しています。著者は、1.73ビットと4ビットの2つの量子化バージョンを試しました。それぞれ少なくとも200GBと500GBのメモリが必要です。4つのRTX 4090と384GBのDDR5 RAMを搭載したワークステーションでは、テストの結果、1.73ビットバージョンの方が生成速度はやや速いものの、4ビットバージョンの方が安定しており、不適切なコンテンツを生成する可能性が低いことがわかりました。著者は、モデルをより軽いタスクに使用し、速度が大幅に低下する長いテキストの生成を避けることを推奨しています。展開には、モデルファイルのダウンロード、Ollamaのインストール、モデルファイルの作成、モデルの実行が含まれており、メモリ不足エラーを回避するために、GPUとコンテキストウィンドウのパラメーターを調整する必要がある場合があります。
続きを読む
開発
モデル展開