MetaのLlama 3.1モデル、著作権のある書籍の大部分を記憶していることが判明

新たな研究によると、MetaのLlama 3.1 70B大規模言語モデルは、著作権のある書籍のかなりの部分を驚くほど記憶しており、「ハリー・ポッターと賢者の石」の42％を記憶していたことが判明しました。これは前身モデルであるLlama 1 65Bを大きく上回り、深刻な著作権上の懸念を引き起こしています。研究者らは、大量のテキストを生成するのではなく、特定のテキストシーケンスを生成する確率を計算することで、モデルの「記憶」を効率的に評価しました。この発見は、Metaに対する著作権訴訟に大きな影響を与える可能性があり、裁判所がAIモデルのトレーニングにおけるフェアユースの境界を再検討するきっかけとなるかもしれません。モデルはマイナーな書籍をあまり記憶していませんでしたが、人気のある書籍の過剰な記憶は、大規模言語モデルにおける著作権問題の課題を浮き彫りにしています。