Más allá de RAG: La llamada de herramientas LLM inaugura una nueva era para la búsqueda semántica

Este artículo explora métodos para implementar la búsqueda semántica, particularmente usando LLMs para la búsqueda de incrustaciones vectoriales. Si bien incrustar directamente los términos de búsqueda del usuario y los documentos a veces produce resultados subóptimos, nuevas técnicas como Nomic Embed Text v2 mejoran los métodos de incrustación, acercando preguntas y respuestas en el espacio vectorial. Además, los LLMs pueden sintetizar respuestas potenciales y luego usar esas incrustaciones para buscar documentos relevantes. El artículo también presenta sistemas de Generación Aumentada por Recuperación (RAG) basados en LLM, enfatizando que el RAG no depende de incrustaciones vectoriales y se puede combinar con la búsqueda de palabras clave o sistemas de búsqueda híbridos. El autor argumenta que, a pesar del surgimiento de modelos de contexto largo, el RAG no desaparecerá porque la cantidad de datos siempre excederá la capacidad de contexto del modelo. El autor prefiere el enfoque de llamada de herramientas LLM, ejemplificado por o3 y o4-mini, creyendo que es más eficaz que el RAG tradicional (recuperación única seguida de respuesta directa).