RenderFormer : rendu neuronal avec éclairage global sans entraînement par scène

RenderFormer est un pipeline de rendu neuronal qui rend directement une image à partir d'une représentation de scène basée sur des triangles avec des effets d'éclairage global complets, sans nécessiter d'entraînement ni d'ajustement fin par scène. Au lieu d'une approche physique, il formule le rendu comme une transformation séquence-à-séquence : une séquence de jetons représentant des triangles avec des propriétés de réflectance est convertie en une séquence de jetons de sortie représentant de petits patchs de pixels. Il utilise un pipeline à deux étapes basé sur le transformateur : une étape indépendante de la vue qui modélise le transport de lumière de triangle à triangle, et une étape dépendante de la vue qui transforme les faisceaux de rayons en valeurs de pixels guidées par l'étape indépendante de la vue. Aucune rastérisation ni tracé de rayons n'est nécessaire.