LegoGPT：テキストプロンプトから安定したレゴモデルを生成

研究者らは、テキストプロンプトから物理的に安定したレゴブロックモデルを生成するAIモデルLegoGPTを開発しました。47,000以上のレゴ構造を含む大規模なデータセット（28,000以上のユニークな3Dオブジェクトと詳細なキャプションを含む）で学習されたLegoGPTは、次のトークン予測を使用して追加する次のブロックを予測します。安定性を確保するために、推論中に効率的な妥当性チェックと物理を考慮したロールバックが採用されています。実験では、LegoGPTは入力テキストと密接に整合する、安定した、多様で、美的に優れたレゴデザインを生成することが示されました。テキストベースのテクスチャリング方法により、色付きでテクスチャのあるデザインが生成されます。モデルは手動で、またはロボットアームによって組み立てることができます。データセット、コード、モデルは公開されています。