TarFlow: Transformer 기반 정규화 흐름 모델, 이미지 우도 추정에서 SOTA 경신

연구원들은 Transformer 아키텍처와 마스크된 자기 회귀 흐름의 장점을 결합한 새로운 정규화 흐름 모델인 TarFlow를 발표했습니다. TarFlow는 이미지 패치에 자기 회귀 Transformer 블록을 적용하고, 레이어 간에 자기 회귀 방향을 번갈아 전환하여 효율적인 밀도 추정과 이미지 생성을 달성합니다. 또한, 샘플 품질을 향상시키는 세 가지 주요 기술, 즉 훈련 중 가우시안 노이즈 증강, 훈련 후 노이즈 제거 절차, 그리고 클래스 조건부 및 무조건 설정 모두에 대한 효과적인 가이드 방법을 제안합니다. 이러한 기술들을 결합하여 TarFlow는 이미지 우도 추정에서 획기적인 성과를 달성하여 기존 최첨단 기법을 크게 능가하며, 독립형 정규화 흐름 모델로서는 최초로 확산 모델에 필적하는 품질과 다양성을 갖춘 샘플을 생성합니다.