LLMは聖書を正確に再現できるか？
2024-12-29
この記事では、大規模言語モデル（LLM）が聖書の聖句を正確に再現できるかどうかを調査しています。著者は、さまざまな規模のLLMが正確に聖句を再現できる能力を評価するために、6つのテストを考案しました。その結果、パラメーター数が大きいモデル（Llama 405B、GPT 4o、Claude Sonnetなど）は、聖句や章全体を正確に再現する上で最高の成績を収めました。一方、パラメーター数が少ないモデル（70億パラメーターの範囲）は、翻訳を混ぜたり、幻覚的なテキストを生成したりすることがよくありました。中規模のモデル（700億パラメーターの範囲）は、一般的に意味は保たれていましたが、多くの場合、翻訳を混ぜたり、わずかに言い換えたりしていました。著者は、聖句を正確に引用するには、パラメーター数の多いモデルを使用し、実際の聖書で確認することが望ましいと結論付けています。