Les LLMs peuvent-ils se souvenir de la Bible avec précision ?
Cet article examine la capacité des grands modèles de langage (LLM) à se souvenir avec précision des Écritures bibliques. L'auteur a conçu six tests pour évaluer la capacité de différents modèles de LLM à reproduire des versets avec précision. Les plus grands modèles (Llama 405B, GPT 4o et Claude Sonnet) ont obtenu les meilleurs résultats, rappelant avec précision des versets et même des chapitres entiers. Les plus petits modèles (plage de 7 milliards de paramètres) ont souvent mélangé des traductions ou produit du texte hallucinatoire. Les modèles de taille moyenne (plage de 70 milliards de paramètres) ont généralement préservé le sens, mais ont souvent mélangé des traductions ou paraphrasé légèrement. L'auteur conclut que pour des citations bibliques précises, les plus grands modèles sont préférables, complétés par une vérification avec une Bible réelle.
Lire plus