RenderFormer: Renderização Neural com Iluminação Global sem Treinamento por Cena

RenderFormer é um pipeline de renderização neural que renderiza diretamente uma imagem a partir de uma representação de cena baseada em triângulos com efeitos completos de iluminação global, sem exigir treinamento ou ajuste fino por cena. Em vez de uma abordagem física, ele formula a renderização como uma transformação sequencial: uma sequência de tokens representando triângulos com propriedades de reflectância é convertida em uma sequência de tokens de saída representando pequenos patches de pixels. Ele usa um pipeline de duas etapas baseado em transformer: uma etapa independente da visão que modela o transporte de luz de triângulo para triângulo e uma etapa dependente da visão que transforma feixes de raios em valores de pixels guiados pela etapa independente da visão. Nenhuma rasterização ou rastreamento de raio é necessário.