AWS S3 Vectors : L'essor du stockage hiérarchisé pour les bases de données vectorielles ?

AWS a récemment lancé S3 Vectors, une base de données vectorielle construite sur son stockage d'objets S3. Cela a déclenché un débat sur le fait qu'elle remplacerait les bases de données vectorielles existantes telles que Milvus, Pinecone, etc. L'auteur, architecte d'ingénierie chez Milvus, soutient que S3 Vectors n'est pas un remplacement, mais un complément, particulièrement adapté aux scénarios de stockage de données froides à faible coût et à faible fréquence de requêtes. Il analyse l'architecture technique de S3 Vectors, soulignant ses avantages en termes de coût et d'évolutivité, mais aussi ses limites en matière de latence de requête élevée, de faible précision et de fonctionnalités limitées. L'auteur approfondit l'évolution des bases de données vectorielles : du stockage en mémoire au stockage sur disque, puis au stockage d'objets, aboutissant à une architecture de stockage hiérarchisé (couches de données chaudes, tièdes et froides) pour équilibrer les performances, le coût et l'évolutivité. Milvus suit également cette voie, avec la prochaine version 3.0 qui intégrera un data lake vectoriel pour la gestion unifiée des données chaudes et froides. L'émergence de S3 Vectors démontre la maturité et la croissance du marché des bases de données vectorielles, et non sa disruption.