3D再構成のためのスパースボクセルへの2Dモダリティの効率的な融合
2025-02-21
本研究は、事前に学習されたスパースボクセルに様々な2Dモダリティ（レンダリングされた深度、セマンティックセグメンテーションの結果、CLIP特徴）のデータを融合することで、効率的な3D再構成手法を提示しています。この手法は古典的なボリューム融合手法を用いて、2Dビューを重み付け平均化し、深度、セマンティック、言語情報を含む3Dスパースボクセルフィールドを生成します。SDFによるメッシュ再構成のためのレンダリング深度、セマンティックセグメンテーションのためのSegformer、視覚および言語特徴抽出のためのRADIOv2.5とLangSplatを用いた例が示されており、再現性のためにJupyter Notebookへのリンクが提供されています。