저예산으로 대규모 확산 모델 훈련: 1890달러

소니 연구소는 매우 저렴한 예산(1890달러)으로 대규모 확산 모델을 훈련하는 방법을 보여주는 micro_diffusion을 오픈소스로 공개했습니다. 공개적으로 이용 가능한 3700만 장의 실제 및 합성 이미지를 사용하여 11억 6천만 개의 매개변수를 가진 스파스 트랜스포머 모델을 훈련하여 COCO 데이터 세트에서 제로샷 생성에 대해 12.7의 FID 점수를 달성했습니다. 이 프로젝트는 훈련 코드, 데이터 세트 코드, 사전 훈련된 모델 가중치를 제공하며, 저해상도에서 고해상도로의 점진적 훈련과 훈련 비용 절감 및 효율 향상을 위한 패치 마스킹 사용 등 단계별 훈련 프로세스에 대한 자세한 설명을 제공합니다.