SVDQuant：利用NVFP4在Blackwell架构GPU上实现3倍加速

麻省理工学院的研究人员开发了SVDQuant，这是一种新的4位量化范式，它利用低秩分支来吸收异常值，从而在NVIDIA Blackwell架构的GPU上实现显著的性能提升。在NVFP4格式下，SVDQuant在图像质量上优于INT4，并实现了比BF16快3倍的速度，内存使用减少3.5倍。该研究成果已开源，并提供交互式演示。