Améliorer la recherche vectorielle avec le réordonnancement ColBERT dans PostgreSQL
La recherche vectorielle traditionnelle repose sur des plongements de phrases, ce qui peut entraîner une perte de détails granulaires. ColBERT résout ce problème en représentant le texte sous forme de multi-vecteurs au niveau des jetons, conservant ainsi des informations nuancées et améliorant la précision. Cependant, l'interaction au niveau des jetons est coûteuse en calcul. Cet article de blog montre comment combiner la recherche vectorielle au niveau des phrases avec le réordonnancement au niveau des jetons de ColBERT en utilisant les extensions PostgreSQL VectorChord et pgvector. Cette approche effectue une recherche initiale rapide en utilisant des plongements de phrases, suivie d'un réordonnancement avec ColBERT pour de meilleurs résultats. Des améliorations significatives ont été observées sur plusieurs ensembles de données BEIR.