AIクローラーがオープンウェブを圧迫：MetaとOpenAIが主導
2025-08-21
Fastlyのレポートによると、AIクローラーが驚くべき速度でオープンウェブを消費しており、すべてのAIボットトラフィックの80％を占めています。MetaのAI部門はこのクローラートラフィックの半分以上を占めており、OpenAIはオンデマンドのフェッチリクエストを支配しています。この過剰なスクレイピングは、ウェブサイトの負荷増加、サーバーのオーバーロード、コンテンツ作成者への被害につながります。一部の企業はrobots.txtディレクティブを無視しており、ウェブサイト運営者はAnubisなどのアンチスクレイピング技術で反撃しています。専門家は、責任あるクロールに関する標準の策定を求めており、AIバブルの崩壊だけがこれを解決できるとさえ示唆しており、政府規制が緊急課題となっています。
テクノロジー
ウェブ負荷