SVDQuant: 3-fache Beschleunigung auf Blackwell-GPUs mit NVFP4
2025-02-22
Forscher des MIT haben SVDQuant entwickelt, ein neues 4-Bit-Quantisierungsverfahren, das einen niederdimensionalen Zweig verwendet, um Ausreißer zu absorbieren und so zu erheblichen Performance-Steigerungen auf der NVIDIA Blackwell-GPU-Architektur führt. Mit dem NVFP4-Format erreicht SVDQuant eine bessere Bildqualität als INT4 und ist 3-mal schneller als BF16, wobei der Speicherverbrauch um das 3,5-fache reduziert wird. Die Forschung ist Open Source und enthält eine interaktive Demo.