Por que o HNSW não é a resposta para bancos de dados vetoriais: A ascensão do IVF

O algoritmo HNSW é popular em bancos de dados vetoriais por sua velocidade e precisão na busca de similaridade vetorial, mas suas limitações em aplicações de grande escala devido à sua natureza intensiva em memória são evidentes. Este artigo argumenta que alternativas baseadas em disco, como o IVF (índice de arquivo invertido), especialmente quando combinadas com técnicas de quantização (RaBitQ, PQ, SQ, ScaNN), oferecem velocidade e escalabilidade superiores para conjuntos de dados massivos. O IVF, quantizando e comprimindo vetores, reduz a pegada de memória e utiliza pré-busca e varreduras sequenciais eficientes para uma busca significativamente mais rápida. Os custos de inserção e exclusão também são menores. Embora o HNSW se destaque em aplicações de menor escala, o IVF com quantização surge como a escolha mais vantajosa para conjuntos de dados massivos.