Potenciando la búsqueda vectorial con reordenamiento ColBERT en PostgreSQL

La búsqueda vectorial tradicional se basa en incrustaciones de oraciones, lo que puede provocar la pérdida de detalles granulares. ColBERT supera esto representando el texto como multi-vectores a nivel de token, reteniendo información matizada y mejorando la precisión. Sin embargo, la interacción a nivel de token es computacionalmente costosa. Esta entrada de blog muestra cómo combinar la búsqueda vectorial a nivel de oración con el reordenamiento a nivel de token de ColBERT utilizando las extensiones de PostgreSQL VectorChord y pgvector. Este enfoque realiza una búsqueda inicial rápida utilizando incrustaciones de oraciones, seguida de un reordenamiento con ColBERT para obtener mejores resultados. Se observaron mejoras significativas en varios conjuntos de datos BEIR.