消えゆくウェブとLLMの可能性

インターネットはゆっくりと忘れつつあります。毎年、かなりの数のウェブページが永遠に消滅しています。インターネットアーカイブ（IA）は、このデジタルメモリの重要な守護者ですが、その存続はますます困難になっています。著者は、すべてを保存することは経済的に不可能である一方、大規模言語モデル（LLM）の情報圧縮能力は、不正確さがあっても、完全な情報消失よりはましだと主張しています。DeepSeek V3などのモデルは既にインターネットの圧縮ビューを提供しています。私たちはIAなどの機関を支援し、公開されたLLMの重みが失われないようにし、IAがLLMの事前学習データセットの一部となるようにする必要があります。