확산 LLM: 언어 모델링의 패러다임 전환

Inception Labs는 기존의 자기 회귀 방식에 도전하는 혁신적인 확산형 대규모 언어 모델(dLLM)을 공개했습니다. 토큰을 순차적으로 예측하는 자기 회귀 모델과 달리, dLLM은 텍스트 세그먼트를 동시에 생성하고 반복적으로 개선합니다. 이미지 및 비디오 모델에서 성공을 거둔 이 방법은 현재 코드 생성에서 동일한 규모의 기존 LLM을 능가하며 속도와 효율성이 5~10배 향상되었습니다. 가장 큰 장점은 환각 감소입니다. dLLM은 중요한 부분을 생성하고 검증한 후에 계속 진행하므로, 챗봇 및 지능형 에이전트와 같이 정확성이 요구되는 애플리케이션에 필수적입니다. 이 접근 방식은 다단계 에이전트 워크플로우 개선, 루프 방지, 계획, 추론 및 자기 수정 능력 향상을 약속합니다.