Tencents HunyuanWorld-Voyager: Konsistente 3D-Videogenerierung aus einem einzigen Bild

Das KI-Team von Tencent stellt HunyuanWorld-Voyager vor, ein neuartiges Videodiffusions-Framework, das weltkonsistente 3D-Punktwolkensequenzen aus einem einzigen Bild mit benutzerdefinierten Kamerapfaden generiert. Voyager erzeugt weltkonsistente 3D-Szenevideos für die Erkundung virtueller Welten entlang benutzerdefinierter Trajektorien und generiert auch ausgerichtete Tiefen- und RGB-Videos für eine effiziente 3D-Rekonstruktion. Trainiert mit über 100.000 Videoclips, die reale Aufnahmen und synthetische Unreal Engine-Renderings kombinieren, erreicht Voyager Spitzenleistungen beim WorldScore-Benchmark. Code und vortrainierte Modelle sind öffentlich verfügbar.