Além do RAG: Chamadas de Ferramentas LLM Inauguram uma Nova Era para Busca Semântica

Este artigo explora métodos para implementar busca semântica, particularmente usando LLMs para busca de incorporação vetorial. Embora incorporar diretamente termos de busca do usuário e documentos às vezes produza resultados subótimos, novas técnicas como Nomic Embed Text v2 melhoram os métodos de incorporação, aproximando perguntas e respostas no espaço vetorial. Além disso, LLMs podem sintetizar respostas potenciais e, em seguida, usar essas incorporações para buscar documentos relevantes. O artigo também apresenta sistemas de Geração Aumentada por Recuperação (RAG) baseados em LLM, enfatizando que o RAG não depende de incorporações vetoriais e pode ser combinado com busca por palavras-chave ou sistemas de busca híbridos. O autor argumenta que, apesar do surgimento de modelos de contexto longo, o RAG não desaparecerá porque a quantidade de dados sempre excederá a capacidade de contexto do modelo. O autor prefere a abordagem de chamada de ferramentas LLM, exemplificada por o3 e o4-mini, acreditando que ela é mais eficaz do que o RAG tradicional (recuperação única seguida de resposta direta).