بناء متسلّق ويب مهذب وسريع: الدروس المستفادة
2025-01-05
لاحظ دينيس شوبيرت، مهندس في موزيلا ومساهم بارز في دياسبورا، وهي شبكة اجتماعية موزّعة مفتوحة المصدر، مؤخراً أن 70٪ من حمل خوادم دياسبورا يأتي من روبوتات سيئة السلوك تغذي نماذج اللغات الكبيرة لبعض الشركات الكبيرة. أسوأ الجناة، والذين بلغوا 40٪ من إجمالي حركة المرور مجتمعة، كانوا OpenAI وأمازون. تتناول هذه المقالة تجربة الكاتب في بناء متسلّق ويب مهذب وسريع، حيث تغطي تحديد المعدل، واحترام robots.txt، وتقليل إعادة الاسترجاع، والترتيب في قائمة الانتظار بكفاءة. باستخدام بايثون وجيفنت، يُعين الكاتب إجراءً مُتزامنًا لكل مجال لتحديد المعدل، ويستخدم Postgres لإدارة قائمة الانتظار بكفاءة وإزالة الازدواجية. يسمح هذا التصميم بالتسلّق السريع والفعال مع احترام مواقع الويب المستهدفة.
اقرأ المزيد