AWS S3 Vectors: 벡터 데이터베이스의 계층형 스토리지 시대 도래?

AWS는 최근 S3 객체 스토리지 기반의 벡터 데이터베이스인 S3 Vectors를 출시했습니다. 이로 인해 Milvus, Pinecone 등 기존 벡터 데이터베이스를 대체할지에 대한 논쟁이 불거졌습니다. Milvus의 엔지니어링 아키텍트인 저자는 S3 Vectors가 대체재가 아니라 보완재이며, 특히 저렴하고 쿼리 빈도가 낮은 콜드 데이터 스토리지 시나리오에 적합하다고 주장합니다. 그는 S3 Vectors의 기술 아키텍처를 분석하여 비용 및 확장성 측면의 장점과 높은 쿼리 대기 시간, 낮은 정확도, 제한된 기능과 같은 단점을 강조합니다. 또한, 저자는 벡터 데이터베이스의 진화, 즉 인메모리 스토리지에서 디스크 스토리지, 그리고 객체 스토리지로의 전환, 그리고 최종적으로 성능, 비용, 확장성의 균형을 맞추기 위한 계층형 스토리지 아키텍처(핫, 웜, 콜드 데이터 레이어)로의 과정을 자세히 설명합니다. Milvus도 이러한 방향으로 나아가고 있으며, 향후 버전 3.0에서는 핫 데이터와 콜드 데이터를 통합 관리하는 벡터 데이터 레이크를 도입할 예정입니다. S3 Vectors의 등장은 벡터 데이터베이스 시장의 성숙과 성장을 증명하는 것이지, 파괴가 아님을 보여줍니다.