LLM：情報損失のある百科事典

大規模言語モデル（LLM）は、情報損失のある百科事典のようなものです。膨大な情報を保有していますが、その情報は圧縮されており、データ損失が生じます。重要なのは、LLMが効果的に回答できる質問と、情報損失が精度に大きく影響する質問を見分けることです。例えば、特定の設定を持つZephyrプロジェクトのスケルトンを作成するようLLMに求めることは、正確な詳細を必要とする「損失のない」質問であり、LLMはこれに対応するのが困難です。解決策は、正しい例を提供することで、LLMが既存の事実に基づいて動作するようにし、知識ベースに存在しない可能性のある詳細に依存しないようにすることです。