RAG을 넘어서: LLM 툴 호출이 의미 검색의 새로운 시대를 열다

이 글에서는 의미 검색 구현 방법, 특히 벡터 임베딩 검색에서 LLM을 사용하는 방법을 탐구합니다. 사용자 검색어와 문서를 직접 임베딩하는 것만으로는 최적의 결과를 얻지 못할 수 있지만, Nomic Embed Text v2와 같은 새로운 기술을 통해 임베딩 방법이 개선되어 질문과 답변이 벡터 공간에서 더 가까워집니다. 또한 LLM은 잠재적인 답변을 합성하고, 이 임베딩을 사용하여 관련 문서를 검색할 수 있습니다. 이 글에서는 LLM 기반 Retrieval-Augmented Generation(RAG) 시스템도 소개하며, RAG는 벡터 임베딩에 의존하지 않고 키워드 검색이나 하이브리드 검색 시스템과 결합될 수 있다는 점을 강조합니다. 저자는 장문맥 모델이 등장했음에도 불구하고 데이터 양이 항상 모델의 컨텍스트 용량을 초과하기 때문에 RAG가 사라지지 않을 것이라고 주장합니다. 저자는 o3 및 o4-mini에서 예시되는 것처럼 LLM 툴 호출 방식을 선호하며, 기존 RAG(단일 검색 후 직접 답변)보다 효과적이라고 생각합니다.