Verbesserte Vektorsuche mit ColBERT-Re-Ranking in PostgreSQL

Traditionelle Vektorsuchen verwenden Sentence Embeddings, wodurch möglicherweise feinkörnige Details verloren gehen. ColBERT behebt dies, indem es Text als Token-Level-Multi-Vektoren darstellt und so nuanciertere Informationen behält und die Genauigkeit verbessert. Die Token-Level-Interaktion ist jedoch rechenintensiv. Dieser Blogbeitrag zeigt, wie man die Vektorsuche auf Sentence-Ebene mit ColBERT Token-Level Re-Ranking kombiniert, indem man die PostgreSQL-Erweiterungen VectorChord und pgvector verwendet. Dieser Ansatz führt eine schnelle initiale Suche mit Sentence Embeddings durch, gefolgt von einem Re-Ranking mit ColBERT für bessere Ergebnisse. Signifikante Verbesserungen wurden in mehreren BEIR-Datensätzen beobachtet.