3D 재구성을 위한 희소 복셀에 대한 2D 모달리티의 효율적인 융합
2025-02-21
본 연구는 사전 훈련된 희소 복셀에 다양한 2D 모달리티(렌더링된 깊이, 의미론적 분할 결과, CLIP 특징) 데이터를 융합하여 효율적인 3D 재구성 기법을 제시합니다. 이 기법은 고전적인 볼륨 융합 기법을 사용하여 2D 뷰를 가중치 평균화하고, 깊이, 의미론, 언어 정보를 포함하는 3D 희소 복셀 필드를 생성합니다. SDF를 통한 메시 재구성을 위한 렌더링된 깊이, 의미론적 분할을 위한 Segformer, 시각 및 언어 특징 추출을 위한 RADIOv2.5 및 LangSplat을 사용한 예시가 제시되며, 재현성을 위해 Jupyter Notebook 링크가 제공됩니다.