RenderFormer: 장면별 학습이 필요 없는 전역 조명 뉴럴 렌더링

RenderFormer는 완벽한 전역 조명 효과를 가진 삼각형 기반 장면 표현에서 이미지를 직접 렌더링하는 뉴럴 렌더링 파이프라인으로, 장면별 학습이나 미세 조정이 필요 없습니다. 물리 기반 접근 방식 대신 렌더링을 시퀀스 투 시퀀스 변환으로 공식화합니다. 반사 특성을 가진 삼각형을 나타내는 토큰 시퀀스는 작은 픽셀 패치를 나타내는 출력 토큰 시퀀스로 변환됩니다. 트랜스포머 기반의 2단계 파이프라인을 사용합니다. 뷰에 독립적인 단계에서는 삼각형 간의 광 전달을 모델링하고, 뷰에 종속적인 단계에서는 뷰에 독립적인 단계에 의해 안내되는 레이 번들을 픽셀 값으로 변환합니다. 래스터화나 레이 트레이싱이 필요 없습니다.