AIウェブクローラー：オープンウェブを食い荒らすか？

AIの台頭により、大量のAIウェブクローラーが、大規模言語モデル（LLM）に供給するためのコンテンツを容赦なくスクレイピングしています。これにより、世界のウェブトラフィックの30％がボットから発生しており、AIボットがその大部分を占めています。従来のクローラーとは異なり、これらのAIボットははるかに攻撃的で、クロール遅延や帯域幅制限を無視するため、ウェブサイトのパフォーマンス低下、サービスの中断、コスト増加を引き起こします。小規模サイトはしばしば機能不全に陥り、大規模サイトはリソースの拡大に大きなプレッシャーがかかります。robots.txtや提案されているllms.txtなどのソリューションがありますが、効果は不十分です。ウェブサイトとAI企業の間のこの軍拡競争は、ウェブの断片化、情報のアクセス制限、そしてインターネットが有料アクセスモデルに移行する可能性を高めるリスクがあります。