AWS S3 Vectors: ¿El auge del almacenamiento por niveles para bases de datos vectoriales?

AWS lanzó recientemente S3 Vectors, una base de datos vectorial construida sobre su almacenamiento de objetos S3. Esto ha generado un debate sobre si reemplazará a las bases de datos vectoriales existentes como Milvus, Pinecone, etc. El autor, un arquitecto de ingeniería de Milvus, argumenta que S3 Vectors no es un reemplazo, sino un complemento, particularmente adecuado para escenarios de almacenamiento de datos fríos de bajo costo y baja frecuencia de consultas. Analiza la arquitectura técnica de S3 Vectors, destacando sus ventajas en cuanto a costo y escalabilidad, pero también sus limitaciones en la alta latencia de consulta, la baja precisión y la funcionalidad limitada. El autor profundiza en la evolución de las bases de datos vectoriales: del almacenamiento en memoria al almacenamiento en disco y ahora al almacenamiento de objetos, culminando en una arquitectura de almacenamiento por niveles (capas de datos calientes, templados y fríos) para equilibrar el rendimiento, el costo y la escalabilidad. Milvus también se está moviendo en esta dirección, con el próximo lanzamiento de la versión 3.0, que incluirá un data lake vectorial para la gestión unificada de datos calientes y fríos. El surgimiento de S3 Vectors demuestra la madurez y el crecimiento del mercado de bases de datos vectoriales, y no su disrupción.