Meta의 Llama 3.1 모델, 저작권이 있는 책의 상당 부분을 기억하는 것으로 밝혀져

새로운 연구에 따르면 Meta의 Llama 3.1 70B 대규모 언어 모델은 저작권이 있는 책의 상당 부분을 놀라울 정도로 기억하고 있으며, "해리 포터와 마법사의 돌"의 42%를 기억하고 있는 것으로 나타났습니다. 이는 이전 모델인 Llama 1 65B보다 훨씬 많으며 심각한 저작권 문제를 야기합니다. 연구자들은 많은 양의 텍스트를 생성하는 대신 특정 텍스트 시퀀스를 생성할 확률을 계산하여 모델의 "기억"을 효율적으로 평가했습니다. 이 발견은 Meta에 대한 저작권 소송에 큰 영향을 미칠 수 있으며, 법원이 AI 모델 훈련에서의 공정 이용의 경계를 재검토하게 할 수 있습니다. 모델은 인기 없는 책은 그다지 기억하지 못했지만, 인기 있는 책을 과도하게 기억하는 것은 대규모 언어 모델의 저작권 문제에 대한 과제를 보여줍니다.