Pourquoi HNSW n'est pas la solution universelle pour les bases de données vectorielles : L'essor d'IVF

L'algorithme HNSW est populaire dans les bases de données vectorielles pour sa vitesse et sa précision dans la recherche de similarité vectorielle, mais ses limitations dans les applications à grande échelle en raison de sa nature gourmande en mémoire sont évidentes. Cet article soutient que les alternatives basées sur le disque, comme IVF (Inverted File Index), notamment lorsqu'elles sont combinées à des techniques de quantification (RaBitQ, PQ, SQ, ScaNN), offrent une vitesse et une évolutivité supérieures pour les ensembles de données massifs. IVF, en quantifiant et en compressant les vecteurs, réduit l'empreinte mémoire et utilise une prélecture et des analyses séquentielles efficaces pour une recherche significativement plus rapide. Les coûts d'insertion et de suppression sont également inférieurs. Bien que HNSW excelle dans les applications à plus petite échelle, IVF avec quantification apparaît comme le choix le plus avantageux pour les ensembles de données massifs.