LegoGPT : Génération de modèles LEGO stables à partir de descriptions textuelles

Des chercheurs ont développé LegoGPT, un modèle d'IA capable de générer des modèles de briques LEGO physiquement stables à partir de descriptions textuelles. Entraîné sur un vaste ensemble de données comprenant plus de 47 000 structures LEGO représentant plus de 28 000 objets 3D uniques et leurs descriptions détaillées, LegoGPT prédit la brique suivante à ajouter grâce à la prédiction du jeton suivant. Pour garantir la stabilité, il intègre un contrôle de validité efficace et un retour en arrière tenant compte de la physique lors de l'inférence. Les expériences montrent que LegoGPT produit des designs LEGO stables, variés et esthétiques, étroitement alignés sur le texte d'entrée. Une méthode de texturation basée sur le texte permet de générer des designs colorés et texturés. Les modèles peuvent être assemblés manuellement ou par des bras robotiques. L'ensemble de données, le code et les modèles sont disponibles publiquement.