PostgreSQL中使用ColBERT重排序增强向量搜索

传统的向量搜索依赖句子嵌入，但会丢失细粒度信息。ColBERT通过使用token级别的多向量表示文本，保留更多细微信息，提高搜索精度。然而，token级别的后期交互计算成本高。本文介绍了一种结合句子级向量搜索和ColBERT token级重排序的方法，利用PostgreSQL扩展VectorChord和pgvector实现。该方法先用句子嵌入进行快速检索，再用ColBERT对结果进行重排序，有效提升了搜索效果，在多个BEIR数据集上取得了显著改进。