SVDQuant: Aceleración 3x en GPUs Blackwell con NVFP4
2025-02-22
Investigadores del MIT han desarrollado SVDQuant, un nuevo paradigma de cuantificación de 4 bits que aprovecha una rama de bajo rango para absorber valores atípicos, lo que resulta en ganancias significativas de rendimiento en la arquitectura de GPU Blackwell de NVIDIA. Utilizando el formato NVFP4, SVDQuant logra una mejor calidad de imagen que INT4 y es 3 veces más rápido que BF16, con una reducción del 3,5 veces en el uso de memoria. La investigación es de código abierto e incluye una demostración interactiva.