Fusão Eficiente de Modalidades 2D em Voxels Esparsos para Reconstrução 3D
2025-02-21
Esta pesquisa apresenta um método eficiente de reconstrução 3D fundindo dados de várias modalidades 2D (profundidade renderizada, resultados de segmentação semântica e recursos CLIP) em voxels esparsos pré-treinados. O método utiliza uma abordagem clássica de fusão volumétrica, ponderando e fazendo a média das visualizações 2D para gerar um campo de voxel esparso 3D contendo informações de profundidade, semântica e linguagem. Exemplos são mostrados usando profundidade renderizada para reconstrução de malha via SDF, Segformer para segmentação semântica e RADIOv2.5 e LangSplat para extração de recursos visuais e de linguagem. Links para Jupyter Notebook são fornecidos para reprodutibilidade.
Leia mais