Aprimorando a Busca Vetorial com Reordenação ColBERT no PostgreSQL
A busca vetorial tradicional usa embeddings de sentenças, mas pode perder detalhes granulares. O ColBERT supera isso representando o texto como multi-vetores de nível de token, retendo informações mais sutis e melhorando a precisão. No entanto, a interação de nível de token é computacionalmente cara. Este post demonstra a combinação da busca vetorial de nível de sentença com reordenação de nível de token ColBERT usando as extensões PostgreSQL VectorChord e pgvector. Esta abordagem realiza uma busca inicial rápida usando embeddings de sentença, seguida de reordenação com ColBERT para melhores resultados. Melhorias significativas foram observadas em vários conjuntos de dados BEIR.