BD3-LMs: 블록 이산 잡음 제거 확산 언어 모델 - 더 빠르고 효율적인 텍스트 생성
2025-05-08
BD3-LMs는 자기 회귀 모델과 확산 모델 패러다임을 영리하게 결합했습니다. 토큰 블록을 자기 회귀적으로 모델링한 다음 각 블록 내에서 확산을 적용하여 높은 우도와 유연한 길이 생성을 달성하면서 확산 모델의 속도와 병렬화 이점을 유지합니다. 단 두 번의 순방향 패스만 필요한 효율적인 훈련 및 샘플링 알고리즘을 통해 성능이 더욱 향상되어 대규모 텍스트 생성을 위한 유망한 접근 방식이 됩니다.
더 보기
AI
자기 회귀 모델