تفسير قرارات نماذج اللغة الكبيرة باستخدام قيم شابلي

2024-12-28
تفسير قرارات نماذج اللغة الكبيرة باستخدام قيم شابلي

تُوفر نماذج اللغة الكبيرة (LLMs) إمكانيات مثيرة للاهتمام لمحاكاة السلوك البشري، لكن عمليات صنع القرار الخاصة بها تفتقر إلى الشفافية. تُقدم هذه الورقة نهجًا جديدًا قائمًا على قيم شابلي لتفسير سلوك LLMs وقياس مساهمة كل مكون من مكونات المطالبة في مخرجات النموذج. من خلال تطبيقين، يكشف البحث أن قرارات LLMs معرضة لـ "ضوضاء الرموز"، حيث يستجيب النموذج بشكل غير متناسب للرموز ذات المحتوى الإعلامي الأدنى. هذا يثير مخاوف بشأن متانة وقابلية تعميم الأفكار المستقاة من LLMs في محاكاة السلوك البشري، مؤكدًا على الحاجة إلى هندسة دقيقة للمطالبات وفهم أكثر دقة لقيودها عند استخدامها في البحث.

اقرأ المزيد

الثوابت: الحساب والتطبيقات

2024-12-27
الثوابت: الحساب والتطبيقات

تتناول ورقة تعليمية نُشرت في وقائع مؤتمر ISSAC لعام 2023، حساب وتطبيقات الثوابت في الرياضيات. تركز الورقة على التفاعل بين نظريات الثوابت التفاضلية والجبرية، حيث تُقدم تعديلاً جبريًا لطريقة الإطار المتحرك من الهندسة التفاضلية لحساب مجموعة توليد الثوابت النسبية. كما تناقش دور توقيعات الثوابت التفاضلية في حل مشاكل التكافؤ في الهندسة والجبر، والتحديات في تصميم الخوارزميات القائمة على هذا المفهوم.

اقرأ المزيد

السياسات التنافسية تهزم أنظمة الذكاء الاصطناعي الخارقة في لعبة جو

2024-12-24
السياسات التنافسية تهزم أنظمة الذكاء الاصطناعي الخارقة في لعبة جو

حقق الباحثون معدل فوز تجاوز 97٪ ضد نظام KataGo، وهو نظام ذكاء اصطناعي متطور للعبة جو، من خلال تدريب سياسات تنافسية. لم يفز هؤلاء الخصوم من خلال اللعب الجيد بل من خلال خداع KataGo لارتكاب أخطاء فادحة. انتقل الهجوم دون إعادة تدريب إلى أنظمة ذكاء اصطناعي خارقة أخرى للعبة جو، وكان بسيطًا بما يكفي لتمكين الخبراء البشريين من تكراره دون مساعدة خوارزمية. استمرت الثغرة الأمنية حتى بعد تدريب KataGo بشكل تنافسي للدفاع ضدها، مما يبرز أنماطًا مفاجئة من الفشل حتى في أنظمة الذكاء الاصطناعي الخارقة.

اقرأ المزيد

دلائل من المستعرات العظمى تشير إلى تغيير جوهري في النماذج الكونية

2024-12-23
دلائل من المستعرات العظمى تشير إلى تغيير جوهري في النماذج الكونية

تُقدم دراسة جديدة تحليلًا إحصائيًا مستقلًا عن النموذج الكوني لمجموعة بيانات الأطياف الخاصة بالنوع Ia من المستعرات العظمى في مشروع Pantheon+، مُحسّنةً المنهجية القياسية التي استخدمها Lane وآخرون. باستخدام معادلة Tripp فقط لمعايرة المستعرات العظمى، تتجنب الدراسة أي ترابطات محتملة في توزيعات التمدد واللون. النتائج تُفضل بقوة نموذج الكون 'Timescape' على نموذج ΛCDM القياسي في تفسير البيانات، مُقدّمةً دلائل على الحاجة إلى إعادة النظر في أسس علم الكونيات النظري والرصدي. حتى عند تقييد العينة على الانزياحات الحمراء التي تتجاوز المقاييس التقليدية للاتساق الإحصائي (z > 0.075)، يظل نموذج Timescape هو المفضل على ΛCDM.

اقرأ المزيد

تعلم التعزيز دون اتصال يحسن الاستدلال متعدد الخطوات في نماذج اللغة الكبيرة

2024-12-23
تعلم التعزيز دون اتصال يحسن الاستدلال متعدد الخطوات في نماذج اللغة الكبيرة

يقدم الباحثون أوريو، وهي طريقة تعلم تعزيز دون اتصال مصممة لتحسين قدرات الاستدلال متعدد الخطوات لأنماط اللغة الكبيرة (LLMs). بناءً على تعلم التعزيز ذي الإنتروبيا القصوى، يتعلم أوريو نموذجًا للسياسة ودالة قيمة بشكل مشترك عن طريق تحسين معادلة بيلمان الناعمة. هذا يعالج قيود تحسين التفضيل المباشر (DPO) في الاستدلال متعدد الخطوات، وتحديداً الحاجة إلى بيانات تفضيلية مُقرّنة واسعة النطاق وتحدي التخصيص الفعال للرصيد. تُظهر التجارب تفوّق أوريو على طرق التعلم دون اتصال الموجودة في المعايير التي تتضمن الاستدلال الرياضي والتحكم في العامل المُجسّد.

اقرأ المزيد

إثبات أن مشكلة التجزئة هي مشكلة NP كاملة، مما يضاعف تحديات ضغط البيانات

2024-12-22
إثبات أن مشكلة التجزئة هي مشكلة NP كاملة، مما يضاعف تحديات ضغط البيانات

تُثبت ورقة بحثية نُشرت على arXiv اكتمال NP لاثنين من المتغيرات في التجزئة، المُعرّفة على أنها مشكلة ضغط مجموعة بيانات إلى ما لا يزيد عن δ رموز، إما من خلال العثور على مُفردات مباشرة (التجزئة المباشرة) أو من خلال اختيار سلسلة من عمليات الدمج (التجزئة من الأسفل إلى الأعلى). لهذه النتيجة آثار كبيرة على ضغط البيانات ومعالجة اللغات الطبيعية، مما يُبرز التحدي الهائل المتمثل في حل مشكلة التجزئة بكفاءة لمجموعات البيانات واسعة النطاق.

اقرأ المزيد

تطوّر ثوري: ترجمة آمنة من لغة سي إلى لغة روست

2024-12-21
تطوّر ثوري:  ترجمة آمنة من لغة سي إلى لغة روست

طور الباحثون طريقة جديدة لترجمة شفرة لغة سي إلى لغة روست بأمان. تعتمد هذه التقنية على التحليل الثابت والترجمة الموجهة بالنوع لتجنب الاعتماد على كتل `unsafe` في روست، مما يضمن سلامة الذاكرة. تم تطبيق هذه الطريقة بنجاح على شفرة من مكتبة التشفير HACL* ومكتبات EverParse، مما أدى إلى إنشاء مكتبة تشفير حديثة مؤكدة من 80,000 سطر مكتوبة بلغة روست خالصة - وهي الأولى من نوعها.

اقرأ المزيد

تصنيف السلامة الخفيف باستخدام نماذج اللغة المُقلّمة

2024-12-19
تصنيف السلامة الخفيف باستخدام نماذج اللغة المُقلّمة

يُقدّم الباحثون تقنية جديدة خفيفة الوزن لتصنيف سلامة المحتوى وحقن المُحفّزات في نماذج اللغات الكبيرة (LLMs) ، وهي تصنيف مُعزّز بالطبقات (LEC). يُدرّب LEC مُصنّفًا مُبسّطًا لـالانحدار اللوجستي المُعاقَب (PLR) على الحالة الخفية للطبقة المُحوّلة الوسيطة المثالية لـ LLM. بدمج كفاءة PLR مع فهم اللغة المُتطوّر لـ LLMs ، يتفوّق LEC على GPT-4o والنماذج المُتخصّصة. تُثبت النماذج العامة الصغيرة مثل Qwen 2.5 والعمارات مثل DeBERTa v3 أنها مُستخرجين قويين للميزات ، حيث يتم التدريب بكفاءة مع أقل من 100 مثال عالي الجودة. من المهم أن تتفوّق الطبقات المُحوّلة الوسيطة عادةً على الطبقة النهائية. يمكن أن يُصنّف LLM عام واحد سلامة المحتوى ، ويكتشف حقن المُحفّزات ، ويُولّد المخرجات ، أو يمكن تقليم LLMs أصغر إلى طبقتها الوسيطة المثالية لاستخراج الميزات. تشير النتائج المُتناسقة عبر العمارة المختلفة إلى أن استخراج الميزات القوي هو أمر مُتّصل بالعديد من LLMs.

اقرأ المزيد

خوارزميات الفرز الكلاسيكية تكشف عن قدرات غير متوقعة في نموذج أدنى للذكاء الأساسي

2024-12-19
خوارزميات الفرز الكلاسيكية تكشف عن قدرات غير متوقعة في نموذج أدنى للذكاء الأساسي

تستخدم دراسة جديدة خوارزميات الفرز الكلاسيكية كنموذج للتشكل، مما يتحدى الحكمة التقليدية حول هذه الخوارزميات. من خلال كسر افتراضات التحكم من أعلى إلى أسفل والأجهزة الموثوقة تمامًا، اكتشف الباحثون أن مصفوفات العناصر المستقلة تُرتب نفسها بشكل أكثر موثوقية وقوة من التنفيذات التقليدية، حتى في وجود أخطاء. بشكل مدهش، تُظهر هذه الخوارزميات القدرة على تقليل التقدم مؤقتًا للتنقل حول العيوب وسلوك التجميع غير المتوقع بين العناصر في المصفوفات الكيمرية التي تتبع خوارزميات مختلفة. يوفر هذا الاكتشاف منظورًا جديدًا للذكاء المتنوع، مما يدل على كيف يمكن أن تظهر أشكال أساسية من الذكاء في الأنظمة البسيطة بدون ترميز صريح في آلياتها الأساسية.

اقرأ المزيد

التطور الثقافي للتعاون بين وكلاء نماذج اللغات الكبيرة

2024-12-18
التطور الثقافي للتعاون بين وكلاء نماذج اللغات الكبيرة

درس الباحثون ما إذا كانت "مجتمعًا" من وكلاء نماذج اللغات الكبيرة (LLM) يمكن أن يتعلموا قواعدًا اجتماعية مفيدة بشكل متبادل على الرغم من الحوافز على الخيانة. كشفت التجارب عن اختلافات كبيرة في تطور التعاون عبر النماذج الأساسية، حيث تفوق نموذج Claude 3.5 Sonnet بشكل كبير على كل من Gemini 1.5 Flash و GPT-4o. علاوة على ذلك، استخدم Claude 3.5 Sonnet آلية عقاب مكلفة لتحقيق درجات أعلى، وهو إنجاز لم يحققه النماذج الأخرى. تقترح هذه الدراسة معيارًا جديدًا لـ LLMs يركز على الآثار الاجتماعية لنشر وكلاء LLM، مما يوفر رؤى حول بناء وكلاء ذكاء اصطناعي أكثر قوة وتعاونًا.

اقرأ المزيد

لا مزيد من Adam: تعديل معدل التعلم عند البدء هو كل ما تحتاجه

2024-12-18
لا مزيد من Adam: تعديل معدل التعلم عند البدء هو كل ما تحتاجه

يقدم الباحثون SGD-SaI، وهو مُحسِّن جديد يُحسِّن من نزول التدرج العشوائي. يعالج SGD-SaI اختلالات التدريب من خلال تغيير معدل التعلم عند البدء لمجموعات المعلمات المختلفة بناءً على نسب إشارة الضوضاء الخاصة بتدرجاتها. أكثر كفاءة من حيث الذاكرة من AdamW، يُطابق SGD-SaI أداء AdamW أو يتجاوزه في مهام متنوعة تعتمد على Transformer، بما في ذلك تصنيف ImageNet والتدريب المسبق لـ LLM. تُظهر مقاومته وقابليته للتطبيق في تطبيقات متنوعة، مما يجعله بديلاً مُقنعاً.

اقرأ المزيد
AI

اختراق أفضل N: هجوم جديد على أنظمة الذكاء الاصطناعي

2024-12-15
اختراق أفضل N: هجوم جديد على أنظمة الذكاء الاصطناعي

طور الباحثون خوارزمية هجوم جديدة للذكاء الاصطناعي تسمى اختراق أفضل N (BoN). هذه الخوارزمية من الصندوق الأسود تعدل بشكل متكرر المطالبات - عن طريق خلط النصوص بشكل عشوائي أو كتابة النصوص بحروف كبيرة، على سبيل المثال - حتى تحصل على استجابة ضارة من نظام الذكاء الاصطناعي. حقق BoN معدلات نجاح عالية بشكل مثير للإعجاب في نماذج اللغات ذات المصدر المغلق مثل GPT-4o (89%) و Claude 3.5 Sonnet (78%)، متجاوزًا الدفاعات الحالية بفعالية. علاوة على ذلك، يمتد BoN بسلاسة إلى نماذج لغة الصور والصوت، مما يبرز ضعف حتى أنظمة الذكاء الاصطناعي المتقدمة للتغيرات في المدخلات التي تبدو غير ضارة. يبرز هذا البحث مخاوف أمنية كبيرة في مجال الذكاء الاصطناعي.

اقرأ المزيد

مصنع الحشرات الآلية: نظام تجميع آلي لبناء روبوت هجين من الحشرات والكمبيوتر

2024-12-15
مصنع الحشرات الآلية: نظام تجميع آلي لبناء روبوت هجين من الحشرات والكمبيوتر

طور الباحثون نظامًا آليًا لتجميع روبوتات هجينة من الحشرات والكمبيوتر. يستخدم هذا النظام ذراعًا روبوتيًا موجهًا بالرؤية لزرع أقطاب كهربائية ثنائية القطب مصممة خصيصًا على ظهور صراصير مدغشقر. تستغرق العملية بأكملها 68 ثانية فقط، والروبوتات المجمعة تحقق تحكمًا في التوجيه والتسارع مقارنة بالأنظمة المجمعة يدويًا. نجح نظام متعدد العوامل يتكون من 4 روبوتات في التنقل عبر مسار به عقبات، مما يدل على إمكانية الإنتاج الضخم والتطبيقات في العالم الحقيقي. هذا البحث يمهد الطريق للإنتاج والنشر على نطاق واسع للروبوتات الحشرية.

اقرأ المزيد

CCxTrust: نظام حوسبة آمن قائم على الثقة التعاونية بين TEE وTPM

2024-12-12
CCxTrust: نظام حوسبة آمن قائم على الثقة التعاونية بين TEE وTPM

CCxTrust هو نظام مبتكر للحوسبة الآمنة يجمع بين مزايا بيئات التنفيذ الموثوقة (TEE) ووحدات النظام الأساسي الموثوقة (TPM) لإنشاء إطار عمل للثقة التعاونية. من خلال الاستفادة من جذر الثقة (RoT) ذي الصندوق الأسود المدمج في وحدات المعالجة المركزية TEE وجذر الثقة (RoT) ذي الصندوق الأبيض المرن من TPMs، يحقق CCxTrust حماية شاملة للبيانات والنماذج الحساسة، متغلبًا على قيود الاعتماد على جذر ثقة (RoT) للأجهزة الفردية. تنفذ المنصة جذور ثقة مستقلة للقياس (RTM) وجذر ثقة تعاوني للتقرير (RTR) ، معززة ببروتوكول توثيق مركب لتحسين الأمان والكفاءة. تُظهر نتائج التجارب مزايا أداء كبيرة.

اقرأ المزيد

اختراق في تحليل قابلية الوصول لنظام أسماء النطاق

2024-12-12
اختراق في تحليل قابلية الوصول لنظام أسماء النطاق

قدم الباحثون أول إجراء قرار للتحقق من نظام أسماء النطاق (DNS) ، حيث حددوا تعقيده على أنه 2ExpTime. تُدوّن الدراسة دلالات DNS رسميًا وتستخدم تجريدًا جديدًا قائمًا على لغات قابلة للاختبار بالبادئة الموجبة ، مما يقلل من مشكلة التحقق من DNS إلى مشكلة التحقق من أنظمة pushdown. يُنمذج هذا النهج بفعالية نواقل الهجوم في DNS ، مثل هجمات التضخيم و blackholing بإعادة الكتابة ، مما يوفر أساسًا نظريًا جديدًا لضمان أمان DNS وموثوقيته.

اقرأ المزيد
1 2 3 4 5 6 7 8 10 Next →