LegoGPT: 텍스트 프롬프트로 안정적인 레고 모델 생성

연구원들은 텍스트 프롬프트로부터 물리적으로 안정적인 레고 블록 모델을 생성하는 AI 모델 LegoGPT를 개발했습니다. 47,000개 이상의 레고 구조물을 포함하는 대규모 데이터셋(28,000개 이상의 고유한 3D 객체와 자세한 캡션 포함)으로 학습된 LegoGPT는 다음 토큰 예측을 사용하여 추가할 다음 블록을 예측합니다. 안정성을 보장하기 위해 추론 중에 효율적인 유효성 검사와 물리적 요소를 고려한 롤백이 사용됩니다. 실험 결과, LegoGPT는 입력 텍스트와 밀접하게 일치하는 안정적이고 다양하며 미적으로 우수한 레고 디자인을 생성하는 것으로 나타났습니다. 텍스트 기반 텍스처링 방법을 통해 색상이 있고 질감이 있는 디자인을 생성할 수 있습니다. 모델은 수동으로 또는 로봇 암을 사용하여 조립할 수 있습니다. 데이터셋, 코드, 모델은 공개적으로 제공됩니다.