Gemini Diffusion: سرعة هائلة في توليد النصوص؟

أدهش نموذج Gemini Diffusion الذي أصدرته جوجل مؤخراً الجميع بسرعته الهائلة، حتى أنهم تباطؤوا عرض النموذج لتسهيل مشاهدته. تتناول هذه المقالة سبب سرعة نماذج الانتشار، ومقارنتها بنماذج الانحدار الذاتي التقليدية (مثل GPT-4 وClaude). تولد نماذج الانتشار المخرجات بأكملها دفعة واحدة، بدلاً من توليدها رمزاً تلو الآخر، مما يسمح بتوليد أجزاء صحيحة بالتوازي وزيادة السرعة من خلال تقليل عدد التكرارات. ومع ذلك، فهي أقل كفاءة مع السياقات الطويلة، ولا تزال قدراتها على الاستدلال محل تساؤل. على الرغم من أن نماذج الانتشار قد تستخدم المحولات داخلياً، إلا أن بنيتها تجعلها مختلفة تماماً عن نماذج الانحدار الذاتي.