LLaDA: نموذج لغوي ضخم جديد قائم على نماذج الانتشار
2025-02-20
LLaDA (Large Language Diffusion with Masking) هو نموذج لغوي ضخم جديد قائم على نماذج الانتشار المُقنّعة، ويتحدى وجهة النظر السائدة القائلة بأن نماذج اللغات الضخمة الحالية تعتمد على آليات الانحدار الذاتي. تقترب LLaDA من التوزيع اللغوي الحقيقي من خلال تقدير الاحتمالية القصوى؛ ولا تنبع قدراتها الملحوظة من آلية الانحدار الذاتي نفسها، بل من المبدأ الأساسي للنمذجة التوليدية. تُظهر الأبحاث أن LLaDA تتمتع بقدرة توسعية تنافسية مقارنة بنماذج الأساس الانحداري الذاتي على نفس البيانات، مع التدريب المسبق والضبط الدقيق الخاضع للإشراف باستخدام الانتشار المُقنّع وتوليد النصوص من خلال أخذ عينات الانتشار.