LLM: 정보 손실이 있는 백과사전

대규모 언어 모델(LLM)은 정보 손실이 있는 백과사전과 같습니다. 방대한 정보를 보유하고 있지만, 이 정보는 압축되어 있기 때문에 데이터 손실이 발생합니다. 중요한 것은 LLM이 효과적으로 답변할 수 있는 질문과 정보 손실이 정확도에 큰 영향을 미치는 질문을 구분하는 것입니다. 예를 들어, 특정 설정을 가진 Zephyr 프로젝트의 스켈레톤을 만들도록 LLM에 요청하는 것은 정확한 세부 정보가 필요한 “손실 없는” 질문이며, LLM은 이에 대응하기 어렵습니다. 해결책은 정확한 예시를 제공하여 LLM이 기존 사실을 바탕으로 동작하도록 하고, 지식 베이스에 없을 수 있는 세부 정보에 의존하지 않도록 하는 것입니다.