SVDQuant: NVFP4를 사용한 Blackwell GPU에서 3배 속도 향상
2025-02-22
MIT 연구원들이 SVDQuant를 개발했습니다. 이는 저랭크 브랜치를 활용하여 이상치를 흡수하는 새로운 4비트 양자화 패러다임으로, NVIDIA Blackwell GPU 아키텍처에서 괄목할 만한 성능 향상을 달성합니다. NVFP4 형식을 사용하여 SVDQuant는 INT4보다 더 나은 이미지 품질을 제공하며, BF16에 비해 3배 빠른 속도를 제공합니다. 메모리 사용량은 3.5배 감소합니다. 이 연구 결과는 오픈소스로 공개되었으며, 인터랙티브 데모도 제공됩니다.