SVDQuant: Aceleração 3x em GPUs Blackwell com NVFP4

Pesquisadores do MIT desenvolveram o SVDQuant, um novo paradigma de quantização de 4 bits que utiliza um ramo de baixo posto para absorver outliers, resultando em ganhos significativos de desempenho na arquitetura de GPU Blackwell da NVIDIA. Usando o formato NVFP4, o SVDQuant alcança melhor qualidade de imagem do que o INT4 e é 3x mais rápido que o BF16, com uma redução de 3,5x no uso de memória. A pesquisa é de código aberto e inclui uma demonstração interativa.