¿Pueden los LLMs recordar la Biblia con precisión?
Este artículo investiga la capacidad de los Grandes Modelos de Lenguaje (LLMs) para recordar con precisión las escrituras bíblicas. El autor diseñó seis pruebas para evaluar la capacidad de diferentes tamaños de LLMs para reproducir con precisión los versículos. Los modelos más grandes (Llama 405B, GPT 4o y Claude Sonnet) tuvieron el mejor rendimiento, recordando con precisión versículos e incluso capítulos completos. Los modelos más pequeños (rango de 7B de parámetros) con frecuencia mezclaban traducciones o alucinaban texto. Los modelos de tamaño medio (rango de 70B) generalmente preservaban el significado, pero a menudo mezclaban traducciones o parafraseaban ligeramente. El autor concluye que para citas bíblicas precisas, los modelos más grandes son preferibles, complementados con la verificación contra una Biblia real.