LegoGPT: Creando modelos LEGO estables a partir de indicaciones de texto

Los investigadores han desarrollado LegoGPT, un modelo de IA que genera modelos de ladrillos LEGO físicamente estables a partir de indicaciones de texto. Entrenado con un conjunto de datos masivo de más de 47.000 estructuras LEGO que abarcan más de 28.000 objetos 3D únicos y subtítulos detallados, LegoGPT predice el siguiente ladrillo que se añadirá utilizando la predicción del siguiente token. Para garantizar la estabilidad, incorpora una comprobación de validez eficiente y una reversión con conocimiento de la física durante la inferencia. Los experimentos muestran que LegoGPT produce diseños LEGO estables, diversos y estéticamente agradables, estrechamente alineados con el texto de entrada. Un método de texturizado basado en texto genera diseños coloridos y texturizados. Los modelos se pueden montar manualmente o con brazos robóticos. El conjunto de datos, el código y los modelos se publican públicamente.