ウィキメディアのインフラ危機:AIデータスクレイピングの津波
2025-05-02

2024年初頭以来、ウィキメディアコンテンツ、特にウィキメディア・コモンズにある1億4400万枚の画像とファイルへの需要が急増しています。この急増は、オープンデータでトレーニングされたAIモデルによって引き起こされ、スクレイピングボットによる帯域幅使用量が50%増加しています。この前例のない負荷はウィキメディアのインフラに負担をかけ、速度低下とコスト増加を引き起こしています。驚くべきことに、高コストトラフィックの65%はボットから発生しており、全体のページビューの35%という割合とはかけ離れています。ウィキメディアは、責任あるデータ使用を呼びかけ、開発者にサポートされているアクセスチャネルを使用するよう促し、無料の知識リソースの持続可能性を確保しています。
テクノロジー