LLMs conseguem recordar a Bíblia com precisão?

Este artigo investiga a capacidade dos Grandes Modelos de Linguagem (LLMs) de recordar com precisão as escrituras bíblicas. O autor elaborou seis testes para avaliar a capacidade de diferentes tamanhos de LLMs de reproduzir com precisão os versículos. Os modelos maiores (Llama 405B, GPT 4o e Claude Sonnet) tiveram o melhor desempenho, recordando com precisão versículos e até capítulos inteiros. Os modelos menores (faixa de 7B de parâmetros) frequentemente misturavam traduções ou apresentavam texto alucinado. Os modelos de tamanho médio (faixa de 70B) geralmente preservavam o significado, mas muitas vezes misturavam traduções ou faziam paráfrases ligeiras. O autor conclui que, para citações bíblicas precisas, os modelos maiores são preferíveis, complementados pela verificação com uma Bíblia real.