El algoritmo de búsqueda de frases más rápido usando la instrucción AVX-512 más desquiciada

2025-01-26

Esta entrada de blog detalla el recorrido del autor para crear un algoritmo de búsqueda de frases extremadamente rápido utilizando instrucciones AVX-512, en particular la oscura `vp2intersectq`. La comparación con Meilisearch en un conjunto de datos MS MARCO con 3,2 millones de documentos mostró mejoras de rendimiento de hasta 1600x. El autor cubre meticulosamente el diseño del algoritmo, la optimización del índice, las optimizaciones SIMD, las diferencias de microarquitectura entre las CPU AMD e Intel, la alineación del código y mucho más.

Desarrollo búsqueda de frases