El modelo Llama 3.1 de Meta memoriza partes significativas de libros con derechos de autor

Una nueva investigación revela que el modelo de lenguaje grande Llama 3.1 70B de Meta memorizó sorprendentemente grandes partes de libros con derechos de autor, memorizando el 42% de Harry Potter y la Piedra Filosofal. Esto es significativamente mayor que su predecesor, Llama 1 65B, lo que genera serias preocupaciones sobre derechos de autor. Los investigadores evaluaron de manera eficiente la 'memorización' del modelo calculando la probabilidad de generar secuencias de texto específicas, en lugar de generar un gran volumen de texto. Este hallazgo podría impactar significativamente los litigios sobre derechos de autor contra Meta y podría llevar a los tribunales a reconsiderar los límites del uso justo en el entrenamiento de modelos de IA. Si bien el modelo memorizó menos libros oscuros, la memorización excesiva de libros populares destaca los desafíos de los modelos de lenguaje grandes con respecto a las cuestiones de derechos de autor.