Quark：实时、高分辨率、通用的神经视图合成
2024-11-27
Quark是一种新型神经网络算法，用于实时、高分辨率、高质量的新视角合成。该算法从稀疏的RGB图像或视频流输入中重建3D场景，并在NVIDIA A100上以30fps的速度渲染1080p分辨率的新视图。该前馈网络可泛化到各种数据集和场景，并为实时方法生成最先进的质量，其质量接近甚至超越一些顶级离线方法。Quark使用分层深度图(LDM)来表示具有复杂深度和遮挡的场景，并采用迭代学习的渲染和细化方法来改进这些图层。它利用多尺度UNet式架构和基于Transformer的网络组件来提高效率，并在每一帧动态创建和丢弃内部3D几何图形，从而优化LDM。
阅读更多
未分类
神经视图合成