告别向量数据库？用Parquet和Polars高效处理文本嵌入

本文介绍了一种无需向量数据库即可高效处理文本嵌入的方法。作者利用Parquet文件存储包含Magic: The Gathering卡牌嵌入及其元数据的表格数据，并使用Polars库进行快速相似性搜索和数据过滤。Polars的零拷贝特性和对嵌套数据的良好支持，使得该方法在速度和效率上均优于传统的CSV或Pickle方法，即使在对数据集进行过滤的情况下也能保持极高的性能。作者还比较了其他存储方法，如CSV、Pickle和NumPy，并指出Parquet结合Polars是处理中等规模文本嵌入的最佳选择，仅在处理超大规模数据时才需考虑向量数据库。