ARC AGI 어워드를 위한 확산 모델: 놀랍도록 어려운 과제

본 게시물에서는 확산 모델을 사용하여 ARC AGI 챌린지를 해결하려는 시도에 대해 자세히 설명합니다. 저자는 미세 조정된 자기 회귀 언어 모델을 확산 모델로 적용하여 비순차적 생성을 가능하게 했습니다. 확산 접근 방식은 픽셀 정확도를 약간 향상시켰지만, 과제 성공률로 이어지지는 않았습니다. 주요 병목 현상은 확산 모델 아키텍처의 효율적인 캐싱 부족으로 인해 자기 회귀 기준선보다 느렸습니다. 향후 연구는 캐싱 개선 및 보다 효율적인 후보 생성 전략 개발에 중점을 둘 것입니다.