ViT対CNN：速度ベンチマークが解像度神話に終止符を打つ

この記事は、Vision Transformer（ViT）が高解像度画像処理において非効率であるという一般的な認識に異議を唱えています。様々なGPUにおける厳格なベンチマークテストを通じて、ViTと畳み込みニューラルネットワーク（CNN）の推論速度、FLOPs、メモリ使用量を比較しています。その結果、ViTは1024x1024ピクセル以下の解像度で非常に優れたパフォーマンスを示し、最新のGPUではCNNよりも高速でメモリ効率が高いことが示されました。また、著者は高解像度への過度の重点を批判し、多くの場合、低い解像度で十分であると主張しています。最後に、この記事では、高解像度におけるViTの効率をさらに向上させる局所的アテンションメカニズムを紹介しています。