Aprimorando a Busca Vetorial com Reordenação ColBERT no PostgreSQL
2025-01-24
A busca vetorial tradicional usa embeddings de sentenças, mas pode perder detalhes granulares. O ColBERT supera isso representando o texto como multi-vetores de nível de token, retendo informações mais sutis e melhorando a precisão. No entanto, a interação de nível de token é computacionalmente cara. Este post demonstra a combinação da busca vetorial de nível de sentença com reordenação de nível de token ColBERT usando as extensões PostgreSQL VectorChord e pgvector. Esta abordagem realiza uma busca inicial rápida usando embeddings de sentença, seguida de reordenação com ColBERT para melhores resultados. Melhorias significativas foram observadas em vários conjuntos de dados BEIR.
Desenvolvimento
busca vetorial