AWS S3 Vectors: O surgimento do armazenamento em camadas para bancos de dados vetoriais?
A AWS lançou recentemente o S3 Vectors, um banco de dados vetorial construído sobre seu armazenamento de objetos S3. Isso gerou debates sobre se ele substituirá bancos de dados vetoriais existentes, como Milvus, Pinecone, etc. O autor, um arquiteto de engenharia da Milvus, argumenta que o S3 Vectors não é uma substituição, mas um complemento, particularmente adequado para cenários de armazenamento de dados frios de baixo custo e baixa frequência de consultas. Ele analisa a arquitetura técnica do S3 Vectors, destacando suas vantagens em custo e escalabilidade, mas também suas limitações em alta latência de consulta, baixa precisão e funcionalidade limitada. O autor aprofunda a evolução dos bancos de dados vetoriais: do armazenamento em memória ao armazenamento em disco e agora ao armazenamento de objetos, culminando em uma arquitetura de armazenamento em camadas (camadas de dados quentes, mornos e frios) para equilibrar desempenho, custo e escalabilidade. A Milvus também está seguindo essa direção, com o lançamento iminente da versão 3.0, que inclui um data lake vetorial para gerenciamento unificado de dados quentes e frios. O surgimento do S3 Vectors comprova a maturidade e o crescimento do mercado de bancos de dados vetoriais, e não sua interrupção.
Leia mais