زحف الويب بالذكاء الاصطناعي: هل يبتلع الويب المفتوح؟

أدى صعود الذكاء الاصطناعي إلى إطلاق سرب من زواحف الويب التي تعمل بالذكاء الاصطناعي، والتي تقوم بجمع المحتوى بلا هوادة لتغذية نماذج اللغات الكبيرة (LLM). وهذا يؤدي إلى أن 30% من حركة مرور الويب العالمية تأتي من الروبوتات، حيث تقود روبوتات الذكاء الاصطناعي السباق. وعلى عكس الزواحف التقليدية، فإن روبوتات الذكاء الاصطناعي هذه أكثر عدوانية بكثير، حيث تتجاهل تأخيرات الزحف وقيود عرض النطاق الترددي، مما يتسبب في تدهور الأداء، وانقطاع الخدمة، وزيادة التكاليف لمواقع الويب. غالبًا ما تتضرر المواقع الأصغر حجمًا، بينما تواجه المواقع الكبيرة ضغطًا هائلاً لزيادة مواردها. وعلى الرغم من وجود حلول مثل robots.txt والـ llms.txt المقترح، إلا أنها أثبتت عدم كفايتها. وهذا السباق التسلحي بين مواقع الويب وشركات الذكاء الاصطناعي قد يؤدي إلى تفتيت الويب، وتقييد الوصول إلى المعلومات، ودفع الإنترنت المحتمل إلى نموذج الوصول المدفوع.