زحف روبوتات الذكاء الاصطناعي يغمر الويب المفتوح: ميتا وأوبن إيه آي في الصدارة
2025-08-21
يكشف تقرير من Fastly أن روبوتات الزحف للذكاء الاصطناعي تستهلك الويب المفتوح بمعدل ينذر بالخطر، حيث تمثل 80% من إجمالي حركة مرور روبوتات الذكاء الاصطناعي. تساهم وحدة الذكاء الاصطناعي في ميتا بأكثر من نصف حركة مرور روبوتات الزحف هذه، بينما تهيمن OpenAI على طلبات الاسترجاع عند الطلب. يؤدي هذا الكشط المفرط إلى زيادة عبء مواقع الويب، وزيادة تحميل الخادم، ويضر بمنتجي المحتوى. تتجاهل بعض الشركات توجيهات robots.txt، مما يدفع مشغلي مواقع الويب إلى الرد باستخدام تقنيات مكافحة الكشط مثل Anubis. يناشد الخبراء وضع معايير مسؤولة للزحف، حتى يقترحون أن انفجار فقاعة الذكاء الاصطناعي فقط هو ما يمكن أن يحل هذه المشكلة، مع تصبح اللوائح الحكومية ضرورية.