RenderFormer: Renderizado neuronal con iluminación global sin entrenamiento por escena
RenderFormer es un pipeline de renderizado neuronal que renderiza directamente una imagen a partir de una representación de escena basada en triángulos con efectos completos de iluminación global, sin necesidad de entrenamiento o ajuste fino por escena. En lugar de un enfoque basado en la física, formula el renderizado como una transformación secuencia-a-secuencia: una secuencia de tokens que representan triángulos con propiedades de reflectancia se convierte en una secuencia de tokens de salida que representan pequeños parches de píxeles. Utiliza un pipeline de dos etapas basado en transformadores: una etapa independiente de la vista que modela el transporte de luz de triángulo a triángulo, y una etapa dependiente de la vista que transforma haces de rayos en valores de píxeles guiados por la etapa independiente de la vista. No se necesita rasterización ni trazado de rayos.