SVDQuant：NVFP4によるBlackwell GPUで3倍高速化
2025-02-22
MITの研究者らが、SVDQuantを開発しました。これは、低ランクブランチを利用して外れ値を吸収する新しい4ビット量子化パラダイムであり、NVIDIAのBlackwell GPUアーキテクチャ上で顕著な性能向上を実現します。NVFP4フォーマットを使用することで、SVDQuantはINT4よりも優れた画質を実現し、BF16と比較して3倍の速度向上を実現します。メモリ使用量は3.5倍削減されます。この研究成果はオープンソース化されており、インタラクティブなデモも提供されています。