ViT 대 CNN: 속도 벤치마크가 해상도 신화에 종지부를 찍다

이 글은 비전 트랜스포머(ViT)가 고해상도 이미지 처리에서 비효율적이라는 일반적인 인식에 이의를 제기합니다. 다양한 GPU에서의 엄격한 벤치마크 테스트를 통해 ViT와 합성곱 신경망(CNN)의 추론 속도, FLOPs, 메모리 사용량을 비교합니다. 그 결과 ViT는 1024x1024픽셀 이하의 해상도에서 매우 뛰어난 성능을 보이며, 최신 GPU에서는 CNN보다 속도와 메모리 효율성이 높은 것으로 나타났습니다. 또한 저자는 고해상도에 대한 과도한 집중을 비판하며, 많은 경우 낮은 해상도로도 충분하다고 주장합니다. 마지막으로 이 글에서는 고해상도에서 ViT의 효율성을 더욱 높이는 지역적 어텐션 메커니즘을 소개합니다.