O Algoritmo de Busca de Frases Mais Rápido Usando a Instrução AVX-512 Mais Insana

2025-01-26

Este post de blog detalha a jornada do autor na criação de um algoritmo de busca de frases extremamente rápido, utilizando instruções AVX-512, particularmente a obscura `vp2intersectq`. Comparando com o Meilisearch em um conjunto de dados MS MARCO com 3,2 milhões de documentos, as melhorias de desempenho chegaram a 1600x. O autor cobre meticulosamente o design do algoritmo, otimização do índice, otimizações SIMD, diferenças de microarquitetura entre CPUs AMD e Intel, alinhamento de código e muito mais.

Desenvolvimento busca de frases