PgDog是一个网络代理，能够拦截PostgreSQL客户端和服务器之间的所有通信，理解SQL并推断查询目标数据库，无需修改应用代码。它通过解析SQL查询，提取分片键，利用PostgreSQL自身的分区哈希函数，将查询路由到正确的数据库分片。文章详细介绍了PgDog如何处理简单协议和扩展协议，以及如何处理跨分片查询和分布式COPY操作，最终实现PostgreSQL数据库的分片和线性扩展数据摄取速度。
阅读更多
作者以自身经历讲述了垂直分库（功能分库）的痛点。垂直分库虽然能缓解数据库负载，但它会将应用拆分成碎片，导致应用层需要处理原本由数据库负责的连接操作，大幅增加代码复杂度和维护成本，并降低系统可用性。文章以幽默的口吻，并通过计算可用性公式说明了垂直分库如何降低系统稳定性，最终导致产品路线图延误和工程师士气低落。作者最后介绍了PgDog项目，一个旨在解决Postgres分库问题的开源项目。
阅读更多
当pgvector数据库规模达到百万级向量数组时，索引构建速度会急剧下降。本文介绍了PgDog，一个用于分片pgvector向量索引的开源项目。PgDog利用IVFFlat算法的特性，将向量空间分割成多个部分，并将其分布到不同的机器上。通过计算查询向量与质心的距离，选择合适的shard进行搜索，从而提高搜索速度和召回率。文章详细介绍了实现过程，包括使用scikit-learn计算质心、自定义分片函数以及利用pg_query解析SQL语句等。实验结果表明，PgDog能够有效提高pgvector的性能，并提供多种优化策略，例如并行跨分片查询和改进的质心分配策略。
阅读更多
一家公司面临着 PostgreSQL 数据库写容量不足的挑战，每天处理 10 万用户/秒的数据。工程师团队没有选择转向 NoSQL 数据库，而是决定通过分片技术扩展 PostgreSQL。他们将数据库分片到 6 个实例，并使用逻辑复制同步数据。过程中，他们还编写了 Ruby 和 Python 代码来处理分片键，并使用自定义工具解决序列问题。最终，他们成功地将数据库扩展了 6 倍，并开发了一个名为 PgDog 的开源项目来自动化此过程。这个故事生动地展现了工程师的智慧和解决问题的决心，以及 PostgreSQL 的可扩展性。
阅读更多