TRELLIS:用于可扩展和多功能3D生成的结构化3D潜变量
2024-12-09
TRELLIS是一种基于结构化潜变量(SLAT)和整流流Transformer的新型3D生成模型,能够创建高质量、多功能的3D资产。SLAT将稀疏的3D网格与从强大的视觉基础模型中提取的密集多视图视觉特征相结合,从而捕获结构和纹理信息。TRELLIS使用文本或图像作为条件进行训练,并在包含500K个不同对象的3D资产数据集上训练了多达20亿个参数的模型。该模型可以生成高质量的3D资产,并支持不同的输出格式,如辐射场、3D高斯模型和网格,显著超越了现有方法,并具备局部3D编辑能力。