SVDQuant : accélération 3x sur les GPU Blackwell avec NVFP4
2025-02-22
Des chercheurs du MIT ont développé SVDQuant, un nouveau paradigme de quantification 4 bits qui utilise une branche de rang faible pour absorber les valeurs aberrantes, ce qui entraîne des gains de performance significatifs sur l'architecture GPU Blackwell de NVIDIA. En utilisant le format NVFP4, SVDQuant atteint une meilleure qualité d'image que INT4 et est 3 fois plus rapide que BF16, avec une réduction de 3,5 fois de l'utilisation de la mémoire. La recherche est open source et inclut une démo interactive.