Oasis:Transformer打造的实时开放世界AI模型
2024-11-01
Oasis是首个可玩的实时开放世界AI模型,它本质上是一个完全由AI生成的电子游戏。该模型接受用户键盘输入并实时生成游戏画面,包括物理引擎、游戏规则和图形,玩家可以在其中移动、跳跃、拾取物品、破坏方块等。Oasis采用Transformer架构,由空间自动编码器和潜在扩散主干组成,并使用Decart的推理引擎实现实时视频生成。虽然Oasis目前仍处于技术演示阶段,但其展现了未来 foundation 模型和消费产品的巨大潜力,例如通过文本、音频等方式控制游戏。目前Oasis已开源5亿参数模型的代码和权重,并提供了一个更大checkpoint的在线试玩demo。
未分类