LegoGPT: Erstellung stabiler LEGO-Modelle aus Textprompts

Forscher haben LegoGPT entwickelt, ein KI-Modell, das physikalisch stabile LEGO-Modelle aus Textprompts generiert. Trainiert auf einem umfangreichen Datensatz mit über 47.000 LEGO-Strukturen, die über 28.000 einzigartige 3D-Objekte und detaillierte Bildunterschriften umfassen, vorhersagt LegoGPT den nächsten zu addierenden Baustein mithilfe der Next-Token-Vorhersage. Um die Stabilität zu gewährleisten, integriert es eine effiziente Gültigkeitsprüfung und ein physik-basiertes Rollback während der Inferenz. Experimente zeigen, dass LegoGPT stabile, diverse und ästhetisch ansprechende LEGO-Designs erzeugt, die eng mit dem Eingabetext übereinstimmen. Eine textbasierte Texturierungsmethode generiert farbige und texturierte Designs. Die Modelle können manuell oder von Roboterarmen zusammengebaut werden. Der Datensatz, der Code und die Modelle werden öffentlich zugänglich gemacht.