Webtagr - ملخصات الأخبار التكنولوجية

العلامات الشائعة：

الافتراضية أمان DNS التحقق الرسمي تحليل قابلية الوصول أخطاء المترجم تضارب الماكرو امتدادات الويب إطار عمل تطوير كومودور 64 بياسيك 2.0 جميع العلامات

arXivLabs: مشاريع تجريبية مع متعاونين من المجتمع

2025-02-03

arXivLabs هو إطار عمل يسمح للمتعاونين بتطوير ومشاركة ميزات arXiv الجديدة مباشرةً على موقعنا الإلكتروني. وقد تبنى الأفراد والمنظمات التي تعمل مع arXivLabs قيمنا المتمثلة في الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدمين. يلتزم arXiv بهذه القيم ويعمل فقط مع الشركاء الذين يلتزمون بها. هل لديك فكرة لمشروع سيضيف قيمة لمجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير

arXivLabs: مشاريع تجريبية مع متعاونين من المجتمع

2025-02-02

arXivLabs هو إطار عمل يسمح للمشاركين بتطوير ومشاركة ميزات arXiv الجديدة مباشرة على موقعنا الإلكتروني. وقد تبنى الأفراد والمنظمات التي تعمل مع arXivLabs قيمنا الخاصة بالانفتاح والمجتمع والتميز وخصوصية بيانات المستخدمين. ويلتزم arXiv بهذه القيم ويعمل فقط مع الشركاء الذين يلتزمون بها. هل لديك فكرة لمشروع سيضيف قيمة لمجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير

arXivLabs: تجربة الميزات التي يقودها المجتمع

2025-02-01

arXivLabs هو إطار يسمح للمشاركين بتطوير ومشاركة ميزات arXiv الجديدة مباشرة على الموقع الإلكتروني. يعتنق المشاركون، سواء كانوا أفرادًا أو منظمات، قيم arXiv المتمثلة في الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدم. يلتزم arXiv بهذه القيم ولا يتعاون إلا مع أولئك الذين يشاركونها. هل لديك فكرة لمشروع سيفيد مجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير التعاون المجتمعي المنصة المفتوحة

arXivLabs: تعاون مجتمعي على ميزات arXiv

2025-02-01

arXivLabs هو إطار تجريبي يسمح للمشاركين بتطوير ومشاركة ميزات arXiv الجديدة مباشرة على الموقع الإلكتروني. يجب على المشاركين الالتزام بقيم arXiv من الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدم. هل لديك فكرة لتحسين مجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير تعاون مجتمعي

arXivLabs: مشاريع تجريبية مع متعاونين من المجتمع

2025-02-01

arXivLabs هو إطار عمل يسمح للمتعاونين بتطوير ومشاركة ميزات arXiv الجديدة مباشرة على موقعنا الإلكتروني. لقد تبنى الأفراد والمنظمات التي تعمل مع arXivLabs وقبلت قيمنا المتمثلة في الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدم. يلتزم arXiv بهذه القيم ويعمل فقط مع الشركاء الذين يلتزمون بها. هل لديك فكرة لمشروع سيضيف قيمة لمجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التكنولوجيا

arXivLabs: تطوير ميزات arXiv التي يقودها المجتمع

2025-02-01

arXivLabs هو إطار عمل يسمح للمشاركين بتطوير ومشاركة ميزات arXiv الجديدة مباشرةً على الموقع الإلكتروني. يعتنق المشاركون، الأفراد والمنظمات على حد سواء، قيم arXiv المتمثلة في الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدم. يلتزم arXiv بهذه القيم ولا يتعاون إلا مع الشركاء الذين يشاركونها. هل لديك فكرة لتحسين مجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير

arXivLabs: مشاريع تجريبية مع متعاونين من المجتمع

2025-01-31

arXivLabs هو إطار عمل يسمح للمُتعاونين بتطوير ومشاركة ميزات arXiv الجديدة مباشرةً على موقعنا الإلكتروني. وقد تبنى الأفراد والمنظمات التي تعمل مع arXivLabs قيمنا المتمثلة في الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدمين، ويلتزم arXiv بهذه القيم ويعمل فقط مع الشركاء الذين يلتزمون بها. هل لديك فكرة لمشروع سيضيف قيمة لمجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير مشاريع تجريبية

arXivLabs: مشاريع تجريبية مع متعاونين من المجتمع

2025-01-31

arXivLabs هو إطار عمل يسمح للمُتعاونين بتطوير ومشاركة ميزات arXiv الجديدة مباشرةً على موقعنا الإلكتروني. وقد تبنى الأفراد والمنظمات التي تعمل مع arXivLabs وقبلت قيمنا المتمثلة في الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدم. يلتزم arXiv بهذه القيم ويعمل فقط مع الشركاء الذين يلتزمون بها. هل لديك فكرة لمشروع سيضيف قيمة لمجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير منصة مفتوحة

arXivLabs: مشاريع تجريبية مع متعاونين من المجتمع

2025-01-31

arXivLabs هو إطار عمل يسمح للمتعاونين بتطوير ومشاركة ميزات arXiv الجديدة مباشرةً على موقعنا الإلكتروني. لقد تبنى الأفراد والمنظمات الذين يعملون مع arXivLabs وقبلوا قيمنا المتمثلة في الانفتاح والمجتمع والتميز وخصوصية بيانات المستخدم. يلتزم arXiv بهذه القيم ويعمل فقط مع الشركاء الذين يلتزمون بها. هل لديك فكرة لمشروع سيضيف قيمة لمجتمع arXiv؟ تعرف على المزيد حول arXivLabs.

اقرأ المزيد

(arxiv.org)

التطوير تعاون المجتمع

خوارزمية أسرع لتحويل فورييه الكمي

2025-01-27

يقدم رونيت شاه خوارزمية محسّنة لتحويل فورييه الكمي (QFT). تقليديًا، يتطلب QFT التقريبي Θ(n log n) من البوابات، بينما يتطلب QFT الدقيق Θ(n²) من البوابات. تعمل الخوارزمية الجديدة، من خلال تقسيم بتات الكم بشكل متكرر، على تقليل تكلفة QFT التقريبي إلى Θ(n(log log n)²) من البوابات، وتكلفة QFT الدقيق إلى Θ(n(log n)²) من البوابات. هذا الاختراق الواعد يوفر مكاسب كبيرة في كفاءة الحوسبة الكمومية.

اقرأ المزيد

(arxiv.org)

التكنولوجيا تحويل فورييه الكمي

DeepSeek-R1: تحفيز قدرة التفكير في نماذج اللغات الكبيرة من خلال التعلم المعزز

2025-01-25

تقدم DeepSeek-AI نماذجها من الجيل الأول للتفكير، DeepSeek-R1-Zero و DeepSeek-R1. يُظهر DeepSeek-R1-Zero، وهو نموذج تم تدريبه من خلال التعلم المعزز (RL) على نطاق واسع بدون ضبط دقيق مُشرف (SFT) كخطوة أولية، قدرات تفكير ملحوظة. من خلال RL، يظهر DeepSeek-R1-Zero بشكل طبيعي العديد من سلوكيات التفكير القوية والمثيرة للاهتمام. ومع ذلك، فإنه يواجه تحديات مثل سوء القابلية للقراءة، وخلط اللغات. لمعالجة هذه المشكلات وتعزيز أداء التفكير أكثر، نقدم DeepSeek-R1، الذي يتضمن تدريبًا متعدد المراحل وبيانات بدء التشغيل البارد قبل RL. يحقق DeepSeek-R1 أداءً مُقارِباً لأداء OpenAI-o1-1217 في مهام التفكير. لدعم مجتمع البحث، نُصدر DeepSeek-R1-Zero و DeepSeek-R1 وستة نماذج كثيفة (1.5B، 7B، 8B، 14B، 32B، 70B) مُقطّرة من DeepSeek-R1 بناءً على Qwen و Llama كمصدر مفتوح.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي القدرة على التفكير

أساسيات نماذج اللغة الكبيرة: كتاب جديد يفك شفرة المفاهيم الأساسية

2025-01-23

صدر كتاب جديد بعنوان "أساسيات نماذج اللغة الكبيرة". وبدلاً من السعي لتغطية شاملة للتكنولوجيات المتطورة، يتعمق الكتاب في المفاهيم الأساسية لنماذج اللغة الكبيرة. وهو منظم في أربعة فصول تغطي التدريب المسبق، والنماذج التوليدية، وتقنيات المطالبات، وأساليب المحاذاة، ويستهدف الكتاب طلاب الجامعات والمحترفين والممارسين في معالجة اللغة الطبيعية والمجالات ذات الصلة. وهو بمثابة مرجع قيم لأي شخص مهتم بنماذج اللغة الكبيرة.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي

الضغط غير الخاسر لمعرّفات المتجهات يعزز بحث أقرب الجيران التقريبي

2025-01-23

يُقدّم الباحثون مخطط ضغط غير خاسر لمعرّفات المتجهات لمعالجة ارتفاع تكلفة تخزين المؤشرات في بحث أقرب الجيران التقريبي. باستغلال حقيقة أن ترتيب المعرّفات غير ذي صلة في العديد من هياكل المؤشرات، واستخدام أنظمة الأرقام غير المتناظرة أو أشجار الموجات، يحقق الأسلوب ضغطًا يصل إلى 7 أضعاف لمعرّفات المتجهات دون التأثير على الدقة أو وقت تشغيل البحث. يؤدي هذا إلى تقليل حجم المؤشر بنسبة 30٪ لمجموعات البيانات التي تبلغ حجمها مليارًا. علاوة على ذلك، يمكن لهذه المقاربة أيضًا ضغط أكواد المتجهات المكمّمة بشكل غير خاسر عن طريق استغلال عدم الأمثل في خوارزمية التكميم الأصلية.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي بحث أقرب الجيران التقريبي ضغط المتجهات الضغط غير الخاسر

FLAME: نموذج لغة صغير لصيغ جداول البيانات

2025-01-22

إن نماذج اللغات الكبيرة مكلفة في التدريب والتشغيل لمساعدة في إنشاء صيغ إكسل. تُقدم هذه الورقة FLAME، وهو نموذج قائم على Transformer تم تدريبه حصريًا على صيغ إكسل. مع 60 مليون معلمة فقط و جزء صغير من بيانات التدريب المستخدمة في النماذج الأكبر، يحقق FLAME أداءً تنافسيًا أو حتى أفضل في مهام إصلاح الصيغ، وإكمالها، واسترجاعها، مقارنةً بنماذج مثل Codex و CodeT5. ويعزى ذلك إلى أهداف التدريب المسبق الجديدة و محلل الرموز المخصص لإكسل.

اقرأ المزيد

(arxiv.org)

التطوير نموذج لغة إكسل صيغة

انتباه المنتج التنسوري: كل ما تحتاجه

2025-01-22

عادةً ما يتطلب توسيع نطاق نماذج اللغات للتعامل مع تسلسلات الإدخال الأطول ذاكرات تخزين كبيرة للقيمة الرئيسية (KV)، مما يؤدي إلى زيادة كبيرة في استهلاك الذاكرة أثناء الاستدلال. تقترح هذه الورقة انتباه المنتج التنسوري (TPA)، وهي آلية انتباه جديدة تستخدم التحلل التنسوري لتمثيل الاستعلامات والمفاتيح والقيم بشكل مضغوط، مما يقلل بشكل كبير من حجم ذاكرة التخزين المؤقت KV أثناء الاستدلال. من خلال تحليل هذه التمثيلات إلى مكونات منخفضة الرتبة سياقية (التحليل السياقي) ودمجها بسلاسة مع RoPE، يحسن TPA جودة النموذج مع الحفاظ على كفاءة الذاكرة. بناءً على TPA، يقدم المؤلفون محول انتباه المنتج التنسوري (T6)، وهي بنية نموذج جديدة لنمذجة التسلسل. تُظهر التقييمات التجريبية المكثفة على مهام نمذجة اللغة أن T6 يتفوق على نماذج Transformer القياسية بما في ذلك MHA وMQA وGQA وMLA عبر العديد من المقاييس، بما في ذلك الارتباك ومجموعة من معايير التقييم المعروفة. بشكل ملحوظ، تسمح كفاءة ذاكرة TPA بمعالجة تسلسلات أطول بكثير تحت قيود موارد ثابتة، مما يعالج تحديًا رئيسيًا للقياس في نماذج اللغات الحديثة. الكود متوفر.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي انتباه المنتج التنسوري نموذج اللغة كفاءة الذاكرة

إحياء إليزا: أول روبوت محادثة في العالم تم ترميمه

2025-01-18

نجح الباحثون في إعادة إحياء إليزا، التي تعتبر على نطاق واسع أول روبوت محادثة في العالم، على نظام CTSS المُرمّم - أول نظام مشاركة وقت في العالم (محاكي على جهاز IBM 7094). باستخدام مطبوعات أصلية، ورمز MAD-SLIP، ووثائق داعمة تم العثور عليها في أرشيف الأستاذ فايزنباوم في معهد ماساتشوستس للتكنولوجيا، قاموا بإعادة إنشاء إليزا وسكريبت DOCTOR الشهير الخاص بها. المشروع بأكمله مفتوح المصدر، مما يسمح لأي شخص لديه نظام تشغيل مشابه لنظام يونكس بتشغيل روبوت المحادثة الرائد.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي روبوت المحادثة

فك شفرة الرياضيات وراء لعبة الكلمات اليومية لصحيفة نيويورك تايمز "وافل"

2025-01-17

تتناول ورقة بحثية على موقع arXiv الرياضيات الكامنة وراء لعبة الكلمات اليومية لصحيفة نيويورك تايمز، "وافل". يستكشف الكاتب إس. بي. غلاسبي الخصائص التجميعية للعبة، موضحًا سبب سهولة بعض الألغاز وصعوبة البعض الآخر بشكل استثنائي. تكشف الأبحاث أن الحل الأمثل يتطلب 11 مدارًا بالتحديد بين المربعات الـ 21، مع وجود مدار واحد على الأقل طوله 1. يوفر هذا إطارًا رياضيًا لفهم وتحسين ألعاب الكلمات المماثلة.

اقرأ المزيد

(arxiv.org)

الألعاب خوارزمية

تايتنز: بنية عصبية جديدة للتعلم عن طريق الحفظ وقت الاختبار

2025-01-16

يقدم الباحثون تايتنز، وهي بنية عصبية جديدة تجمع بين وحدة ذاكرة عصبية وآلية انتباهية لتذكر سياق تاريخي طويل الأمد بفعالية. وعلى عكس النماذج المتكررة التقليدية وآليات الانتباه، تُظهر تايتنز كفاءة ودقة أعلى في التعامل مع التسلسلات الطويلة، وتتفوق بشكل خاص في مهام "إيجاد إبرة في كومة قش". وتتفوق على نماذج ترانسفورمر والنماذج المتكررة الخطية الحديثة في العديد من المهام، بما في ذلك نمذجة اللغة، والتفكير المنطقي، والجينوميات، والمتسلسلات الزمنية، وتتوسع إلى نوافذ سياقية تتجاوز 2 مليون رمز.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي الذاكرة طويلة المدى آلية الانتباه

نحو التفكير من النوع الثاني في نماذج اللغات الكبيرة: تعلم التفكير باستخدام سلسلة الفكر الميتا

2025-01-10

يقترح الباحثون إطارًا جديدًا يسمى سلسلة الفكر الميتا (Meta-CoT) ، والذي يوسع طريقة سلسلة الفكر (CoT) التقليدية من خلال نمذجة التفكير الكامن وراء CoT معين بشكل صريح. يستخدم Meta-CoT الإشراف على العملية ، وتوليد البيانات الاصطناعية ، وخوارزميات البحث. يحدد البحث خط أنابيب للتدريب يتضمن ضبط التعليمات مع مسارات بحث خطية وتعلم التعزيز بعد التدريب. يوفر هذا العمل خارطة طريق لتمكين Meta-CoT في نماذج اللغات الكبيرة ، مما يوعد بتفكير أكثر قوة وأكثر تشابهًا مع البشر في الذكاء الاصطناعي.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي سلسلة الفكر

التشكيك في نظرية CAP: فرضية التقدم الجزئي تحت عدم التزامن

2025-01-08

تتناول ورقة بحثية جديدة التشكيك في نظرية CAP المعروفة. يُفترض المؤلفون أن التقدم الجزئي ممكن تحت تقسيمات الشبكة، مما يعني أن النظام يمكن أن يظل متجاوبًا مع مجموعة فرعية من العملاء ويحقق معدل نقل بيانات غير صفري أثناء حالات الفشل. يُقدمون تصميم بروتوكول الإجماع CASSANDRA الخاص بهم، مما يسمح للنسخ الموزعة المقسمة بترتيب طلبات العملاء، مما يوفر مسارًا محتملًا لأنظمة متسقة ومتاحة إلى حد ما، حتى أثناء حالات التقسيم. توفر هذه الأبحاث نهجًا جديدًا لبناء أنظمة موزعة أكثر قوة.

اقرأ المزيد

(arxiv.org)

التطوير نظرية CAP بروتوكول الإجماع

نظرة على عقد من الزمن: الغوص في اكتشاف الشذوذ في سلاسل البيانات الزمنية

2025-01-06

إن التطورات في تقنية جمع البيانات والزيادة الهائلة في تدفق البيانات تبرز الحاجة الملحة لتحليل سلاسل البيانات الزمنية. تقدم هذه الورقة مراجعة لعقد من الزمن في اكتشاف الشذوذ في سلاسل البيانات الزمنية، وتشمل الأساليب من المقاييس الإحصائية التقليدية إلى ظهور خوارزميات التعلم الآلي. تعرض تصنيفًا مركزًا على العمليات لتصنيف ولخص الحلول الموجودة، مع تقديم تحليل استعراضي للأدبيات وتحديد الاتجاهات العامة في هذا المجال. هذه الدراسة الشاملة بمثابة مورد قيّم للباحثين.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي سلاسل زمنية اكتشاف الشذوذ

علماء يكشفون سر صلصة الكاشو إي بيبي المثالية

2025-01-04

قام فريق من العلماء بدراسة متعمقة للفنون الطهيّة، وتحديدًا طبق الكاشو إي بيبي الإيطالي الكلاسيكي، لكشف أسرار قوامه الكريمي المثالي. أظهرت أبحاثهم أن تركيز النشا هو العامل الرئيسي المؤثر على ثبات الصلصة. تؤدي مستويات النشا الأقل من 1% (بالنسبة لكتلة الجبن) إلى تكتل، وهي ظاهرة أطلقوا عليها اسم "مرحلة الموزاريلا "، مما ينتج عنه صلصة منفصلة وغير مستساغة. كما درس البحث تأثير نسب الجبن إلى الماء عند مستوى ثابت من النشا، مع ملاحظة درجة حرارة انحلال حرجة أقل، ووضعوا نموذجًا فعالًا للطاقة الحرة الدنيا لشرح ذلك. في النهاية، قدموا وصفة مُحسّنة علميًا تضمن صلصة كاشو إي بيبي مثالية باستمرار.

اقرأ المزيد

(arxiv.org)

متنوع علم الغذاء كاشو إي بيبي الطهي

استنساخ نموذج OpenAI o1: خارطة طريق من منظور التعلم المعزز

2025-01-03

تستكشف ورقة بحثية جديدة مسار إعادة إنتاج نموذج OpenAI الغامض o1، من منظور التعلم المعزز. ويجادل الباحثون بأن قدرة o1 القوية على التفكير لا ترجع إلى تقنية واحدة، بل إلى تآزر أربعة مكونات رئيسية: تهيئة السياسة، وتصميم المكافآت، والبحث، والتعلم. تهيئة السياسة تزود النموذج بالتفكير الشبيه بالتفكير البشري؛ تصميم المكافآت يوفر إشارات كثيفة وفعالة توجه البحث والتعلم؛ البحث يولد حلولًا عالية الجودة أثناء التدريب والاختبار؛ يتعلم النموذج باستخدام بيانات البحث لتحسين السياسة، مما يحقق في النهاية أداءً أفضل. توفر هذه الورقة رؤى قيّمة لفهم واستنساخ o1، وتفتح آفاقًا جديدة لتطوير نماذج اللغات الكبيرة.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي التعلم المعزز استنساخ النماذج

4.5 مليون نجمة مزيفة على جيثب: مسابقة شعبية مظلمة

2025-01-02

تكشف دراسة جديدة عن 4.5 مليون نجمة يُشتبه في أنها مزيفة على جيثب، تُستخدم بشكل أساسي للترويج لمستودعات برامج ضارة قصيرة العمر متنكرة في هيئة برامج مقرصنة أو غش ألعاب أو روبوتات عملات مشفرة. طور الباحثون أداة StarScout للكشف عن سلوك النجوم الشاذ. تُظهر الدراسة زيادة سريعة في نشاط النجوم المزيفة منذ عام 2024. وعلى الرغم من أن مُستخدمي النجوم المزيفة لا يختلفون اختلافًا كبيرًا عن المستخدمين العاديين من حيث خصائص الملف الشخصي، إلا أن أنماط نشاطهم غير طبيعية للغاية. وعلى الرغم من أنها توفر فوائد ترويجية قصيرة المدى، إلا أن النجوم المزيفة تصبح عبئًا على المدى الطويل. هذه الدراسة لها آثار كبيرة على مُعدِّلي النظام الأساسي وممارسي المصادر المفتوحة وباحثين أمن سلسلة التوريد.

اقرأ المزيد

(arxiv.org)

التكنولوجيا

TinyStories: هل لا تزال نماذج اللغات الصغيرة قادرة على إنتاج نصوص إنجليزية متماسكة؟

2025-01-02

يقدم الباحثون TinyStories، وهي مجموعة بيانات اصطناعية من القصص القصيرة التي تستخدم فقط المفردات التي يفهمها الأطفال من سن 3 إلى 4 سنوات، تم إنشاؤها بواسطة GPT-3.5 و GPT-4. يُظهرون أن نماذج اللغات المدربة على TinyStories، حتى تلك التي تحتوي على أقل من 10 ملايين معلمة وهياكل بسيطة (كتلة محول واحدة)، يمكن أن تولد قصصًا متماسكة وسلسة من فقرات متعددة، وتظهر قواعد نحوية و قدرات استدلالية جيدة بشكل مدهش. هذا يتحدى فكرة أن إنشاء نص متماسك يتطلب نماذج ضخمة وهياكل معقدة، ويقدم أسلوبًا جديدًا للتقييم يستخدم GPT-4 لتصنيف القصص المُولدة مثل معلم بشري، متغلبًا على قيود المعايير القياسية.

اقرأ المزيد

(arxiv.org)

الذكاء الاصطناعي نماذج اللغات معالجة اللغات الطبيعية التعلم القليل اللقطات

هندسة التنشيط: التلاعب بسمات الشخصية في نماذج اللغات الكبيرة

2024-12-31

تتناول ورقة بحثية على موقع arXiv طريقة جديدة لتحديد سمات الشخصية في نماذج اللغات الكبيرة (LLMs) والتحكم بها باستخدام "هندسة التنشيط". مستوحاة من أبحاث سابقة حول رفض نماذج اللغات الكبيرة وتوجيهها، يقترح الباحثون تقنية لضبط اتجاهات التنشيط المرتبطة بسمات الشخصية، مما يسمح بضبط دقيق ديناميكي لشخصية LLM. يساهم هذا العمل في فهم أفضل لقدرة نماذج اللغات الكبيرة على التفسير، وفي الوقت نفسه يثير اعتبارات أخلاقية بالغة الأهمية.

اقرأ المزيد

(arxiv.org)

AI هندسة التنشيط

ما وراء حساب متوسط التدرجات في التحسين المتوازي: تحسين المتانة من خلال تصفية اتفاق التدرجات

2024-12-30

يقدم هذا البحث تقنية جديدة تُعرف باسم تصفية اتفاق التدرجات (GAF) لتحسين حساب متوسط التدرجات في تحسين تعلم الآلة العميق الموزع. تعتمد الطرق التقليدية على حساب متوسط تدرجات الدُفعات الصغيرة لحساب متوسط تدرج الدُفعة الكبيرة، لكن هذا قد يؤدي إلى تدرجات متعامدة أو سالبة الارتباط في مراحل التدريب المتأخرة، مما يُسبب فرط التخصيص. تعمل تقنية GAF على تقليل تباين التدرجات بحساب المسافة الجيبية بين تدرجات الدُفعات الصغيرة، وبتصفية التحديثات المتضاربة قبل حساب المتوسط. تُظهر التجارب على معايير تصنيف الصور مثل CIFAR-100 و CIFAR-100N-Fine أن تقنية GAF تُحسّن دقة التحقق بشكل ملحوظ، حتى مع استخدام دُفعات أصغر حجماً، حيث تصل إلى تحسين يصل إلى 18.2٪ مقارنة بالنهج التقليدية مع تقليل التكلفة الحسابية.

اقرأ المزيد

(arxiv.org)

AI متوسط التدرجات المتانة

تقييم قدرات توليد التعليمات البرمجية لأنظمة اللغات الكبيرة (LLMs): تقديم MultiCodeBench

2024-12-30

أصبحت مساعدات البرمجة التي تعمل بالذكاء الاصطناعي والتي تعتمد على نماذج اللغات الكبيرة (LLMs) الخاصة بالتعليمات البرمجية أكثر شيوعًا، مما أدى إلى زيادة كبيرة في إنتاجية المطورين. ومع ذلك، تركز مقاييس الأداء الحالية لتوليد التعليمات البرمجية بشكل أساسي على السيناريوهات العامة، تاركة أداء أنظمة LLMs في مجالات التطبيقات المحددة إلى حد كبير غير معروف. تقدم هذه الورقة MultiCodeBench، وهو مقياس أداء جديد يتكون من 2400 مهمة برمجة في 12 مجالًا شائعًا لتنمية البرامج و15 لغة برمجة. تكشف التجارب على أحد عشر نظامًا رئيسيًا من أنظمة LLMs عن أدائها في توليد التعليمات البرمجية عبر مختلف المجالات، مما يوفر رؤى عملية للمطورين في اختيار أنظمة LLMs وإرشادات لمطوري النماذج لتحسين قدرات توليد التعليمات البرمجية المحددة حسب المجال.

اقرأ المزيد

(arxiv.org)

التطوير مقياس الأداء

اختراق في تقييم نماذج اللغة الكبيرة في توليد اختبارات الوحدة

2024-12-30

أجرى الباحثون تقييمًا شاملاً لإمكانيات نماذج اللغة الكبيرة (LLMs) في أتمتة توليد اختبارات الوحدة. قارنوا أداء خمسة نماذج مفتوحة المصدر مع GPT-4 المملوكة و أداة Evosuite التقليدية عبر 17 مشروعًا بلغة جافا، ودرسوا تأثير استراتيجيات المطالبات المختلفة. وجدت الدراسة أن نماذج اللغة المفتوحة المصدر توفر مزايا في خصوصية البيانات، وتتفوق في بعض المهام، لكنها كشفت أيضًا عن قيود في توليد اختبارات الوحدة القائمة على نماذج اللغة الكبيرة. توفر هذه الدراسة رؤى قيّمة لتوجيه التطبيقات المستقبلية لـ LLMs في هذا المجال.

اقرأ المزيد

(arxiv.org)

التطوير اختبارات الوحدة

ارتباك الهوية في نماذج اللغات الكبيرة: ظهور أزمة الثقة

2024-12-30

كشفت دراسة حديثة عن انتشار "ارتباك الهوية" في نماذج اللغات الكبيرة (LLMs). ووجد الباحثون أن أكثر من 25% من نماذج LLMs تُظهر تحريفًا لأصولها أو هوياتها، ويعود ذلك بشكل أساسي إلى هلوسة النموذج وليس إلى النسخ أو إعادة الاستخدام. هذا الارتباك في الهوية يقوض ثقة المستخدم بشكل كبير، خاصة في المهام الحرجة مثل التعليم والاستخدام المهني، متجاوزًا التأثير السلبي للأخطاء المنطقية. وتبرز النتائج المخاطر النظامية التي يفرضها ارتباك هوية LLMs، وتدعو إلى مزيد من الاهتمام بموثوقية وسلامة النموذج.

اقرأ المزيد

(arxiv.org)

AI ارتباك الهوية أزمة الثقة

← Previous 1 2 3 4 5 6 7 8 9 10 Next →