AWS S3 Vectors：ベクトルデータベースの階層型ストレージ時代到来？

AWSは最近、S3オブジェクトストレージ上に構築されたベクトルデータベースであるS3 Vectorsをリリースしました。これにより、Milvus、Pineconeなど既存のベクトルデータベースを置き換えるかどうかについての議論が巻き起こっています。Milvusのエンジニアリングアーキテクトである著者は、S3 Vectorsは置き換えではなく補完であり、低コストでクエリ頻度の低いコールドデータストレージのシナリオに特に適していると主張しています。彼はS3 Vectorsの技術アーキテクチャを分析し、コストとスケーラビリティにおける利点、および高いクエリレイテンシ、低い精度、機能の制限といった欠点を強調しています。さらに、著者はベクトルデータベースの進化、つまりインメモリストレージからディスクストレージ、そしてオブジェクトストレージへの移行、最終的にはパフォーマンス、コスト、スケーラビリティのバランスを取るための階層型ストレージアーキテクチャ（ホット、ウォーム、コールドデータレイヤー）へと至る過程を詳しく説明しています。Milvusもこの方向に進んでおり、今後のバージョン3.0では、ホットデータとコールドデータの一元管理を行うベクトルデータレイクが導入されます。S3 Vectorsの登場は、ベクトルデータベース市場の成熟と成長、そして破壊ではないことを証明しています。