MIMO:基于空间分解建模的可控角色视频合成

2024-09-25

MIMO是一种通用的可控视频合成模型,可以模仿复杂运动和物体交互中任何地方的任何人。给定一张参考图像,MIMO 可以通过几分钟的推理合成可动画的化身。其核心思想是将二维视频编码为紧凑的空间代码,考虑到视频发生 inherent 3D 特性。具体来说,模型使用单目深度估计器将二维帧像素提升到三维,并根据三维深度将视频片段分解为三个空间组件(即,主要人物、底层场景和漂浮遮挡)。然后将这些组件进一步编码为规范身份代码、结构化运动代码和完整场景代码,这些代码用作合成过程的控制信号。这种空间分解策略实现了灵活的用户控制、空间运动表达以及用于场景交互的 3D 感知合成。

阅读更多