العلامات الشائعة：
الافتراضية أمان DNS التحقق الرسمي تحليل قابلية الوصول أخطاء المترجم تضارب الماكرو امتدادات الويب إطار عمل تطوير كومودور 64 بياسيك 2.0 جميع العلامات

بناء نماذج اللغات الكبيرة من الصفر: المتجهات، والمصفوفات، والمساحات متعددة الأبعاد

2025-09-06
بناء نماذج اللغات الكبيرة من الصفر: المتجهات، والمصفوفات، والمساحات متعددة الأبعاد

تتناول هذه المقالة، وهي الثانية في سلسلة من ثلاث مقالات، شرح آلية عمل نماذج اللغات الكبيرة (LLMs) للقراء ذوي الخبرة التقنية والمعرفة المحدودة في مجال الذكاء الاصطناعي. بالاستناد إلى الجزء 19 من سلسلة تعتمد على كتاب سيباستيان راشكا "بناء نموذج لغة كبير (من الصفر)"، تشرح المقالة استخدام المتجهات، والمصفوفات، والمساحات متعددة الأبعاد (مساحة المفردات ومساحة التضمين) داخل LLMs. ويجادل الكاتب بأن فهم الاستدلال في LLMs يتطلب فقط معرفة رياضية على مستوى المدرسة الثانوية، بينما يتطلب التدريب معرفة رياضية أكثر تقدمًا. وتفصل المقالة بالتفصيل كيف تمثل المتجهات المعنى في المساحات متعددة الأبعاد، وكيف تُحقق عملية ضرب المصفوفات إسقاطًا بين هذه المساحات، مع ربط ذلك بالطبقات الخطية في الشبكات العصبونية.

اقرأ المزيد
(www.gilesthomas.com)
الذكاء الاصطناعي

بناء نموذج لغة كبير من الصفر: كشف لغز الانتباه

2025-05-11
بناء نموذج لغة كبير من الصفر: كشف لغز الانتباه

تتناول هذه المشاركة آلية الانتباه الذاتي في نماذج اللغة الكبيرة. يحلل الكاتب آلية الانتباه متعدد الرؤوس وآليات الطبقات، موضحًا كيف أن عمليات ضرب المصفوفات البسيطة ظاهريًا تحقق وظائف معقدة. الفكرة الأساسية هي أن رؤوس الانتباه الفردية بسيطة، ولكن من خلال الانتباه متعدد الرؤوس والطبقات، يتم بناء تمثيلات معقدة وغنية. هذا مشابه لكيفية استخراج الشبكات العصبية التلافيفية للميزات طبقة تلو طبقة، مما يحقق في النهاية فهمًا عميقًا لتسلسل المدخلات. بالإضافة إلى ذلك، تشرح المشاركة كيف تحل آليات الانتباه مشكلة عنق الزجاجة ذات الطول الثابت المتأصلة في نماذج RNN، وتستخدم أمثلة لتوضيح أدوار مساحات الاستعلام والمفتاح والقيمة في آلية الانتباه.

اقرأ المزيد
(www.gilesthomas.com)
الذكاء الاصطناعي

بناء نموذج لغة كبير من الصفر: غوص عميق في تقنية دروب أوت

2025-03-20
بناء نموذج لغة كبير من الصفر: غوص عميق في تقنية دروب أوت

تسجل هذه المشاركة رحلة الكاتب خلال فصل دروب أوت في كتاب سيباستيان راشكا "بناء نموذج لغة كبير من الصفر". دروب أوت تقنية تنظيمية تمنع فرط التجهيز عن طريق تجاهل بعض الخلايا العصبية أو الأوزان بشكل عشوائي أثناء التدريب، مما ينشر المعرفة على نطاق أوسع في النموذج. يفصل الكاتب طريقة تنفيذ دروب أوت، ويستكشف الفروق الدقيقة في تطبيقها في نماذج اللغات الكبيرة، مثل تطبيق دروب أوت على أوزان الانتباه أو متجهات القيم، وإعادة موازنة المصفوفة الناتجة. تتطرق المشاركة أيضًا إلى خيارات معدل دروب أوت العملية، وتحديات التعامل مع مُوَحِّدات من الرتبة الأعلى لمعالجة الدُفعات، مما يُمهد الطريق لمزيد من التعلم.

اقرأ المزيد
(www.gilesthomas.com)
التطوير دروب أوت

بناء نموذج لغة كبير من الصفر: غوص عميق في الانتباه الذاتي

2025-03-05
بناء نموذج لغة كبير من الصفر: غوص عميق في الانتباه الذاتي

تُعدّ هذه التدوينة، وهي الثامنة في سلسلة تُوثّق رحلة الكاتب عبر كتاب سيباستيان راشكا "بناء نموذج لغة كبير (من الصفر)"، تركّز على تنفيذ الانتباه الذاتي بأوزان قابلة للتدريب. تبدأ بمراجعة الخطوات المُتضمنة في نماذج اللغات الكبيرة المُحوّلة من نوع فك التشفير فقط على غرار GPT، بما في ذلك التضمينات الرمزية والموضعية، والانتباه الذاتي، وتطبيع درجات الانتباه، وتوليد متجهات السياق. ويتعمّق جوهر التدوينة في الانتباه بناتج النقطة المُقاس، مُشرحًا كيف تُسقِط مُصفوفات الأوزان القابلة للتدريب تضمينات الإدخال في مساحات مُختلفة (استعلام، مفتاح، قيمة). ويُستخدَم ضرب المُصفوفات من أجل حسابات مُؤثّرة. ويُقدّم الكاتب شرحًا واضحًا وآليًا للعملية، مُختتمًا بمعاينة للمواضيع المُقبلة: الانتباه الذاتي السببي والانتباه مُتعدد الرؤوس.

اقرأ المزيد
(www.gilesthomas.com)
الذكاء الاصطناعي الانتباه الذاتي المُحوّل

هل لا تزال المدونات ذات صلة في عصر الذكاء الاصطناعي؟

2025-02-25
هل لا تزال المدونات ذات صلة في عصر الذكاء الاصطناعي؟

تتناول هذه المشاركة قيمة كتابة المدونات في عصر ChatGPT وأدوات الذكاء الاصطناعي الأخرى. على الرغم من أن الذكاء الاصطناعي يمكنه الوصول إلى المعلومات وتجميعها بسهولة، إلا أن كتابة المدونات لا تزال قيّمة: فهي تُرسّخ المعرفة الذاتية، وتساعد الآخرين، وتُنشئ علامة تجارية شخصية (على الرغم من أن هذا من الصعب تحقيقه من خلال المدونات فقط)، وتُوفر إحساسًا بالإنجاز، وتُنشئ محفظة أعمال مكتوبة تُظهر مهارات التفكير، مما يُفيد التطور المهني. يجادل الكاتب بأن التأثير الرئيسي للذكاء الاصطناعي على المدونات هو تقليل الشعور بالإنجاز الناتج عن التفاعل مع القراء، لكن هذا لا ينفي القيمة العامة للمدونات.

اقرأ المزيد
(www.gilesthomas.com)
التطوير المدونات

نظرة المدون الاسترجاعية: قيمة منشورات التعلم المتعمق

2025-02-24
نظرة المدون الاسترجاعية: قيمة منشورات التعلم المتعمق

قام مدوّن، أثناء تعافيه من مرض بسيط، بمراجعة منشوراته السابقة ووجد أن أكثرها شعبية تتبع نمطًا: تعلم مهارة جديدة وتلخيصها في شكل تعليمي. يعتقد أن هذا الأسلوب في الكتابة لا يعزز معرفته الخاصة فحسب، بل يساعد الآخرين أيضًا. هذه المنشورات التعليمية تعمل كالموارد التي كان يتمنى المدون وجودها عندما كان يتعلم، حيث تقدم للقراء أدلة تعليمية واضحة ومتعمقة. في المستقبل، يخطط المدون لإنشاء المزيد من هذه "الغوصات العميقة TIL"، ومشاركة رحلته في التعلم.

اقرأ المزيد
(www.gilesthomas.com)
متنوع تعلم دروس