6.4TB 的 SQLite 数据库:searchcode.com 的技术升级
2025-02-17
searchcode.com,一个代码搜索引擎,将数据库从 MySQL 迁移到了 SQLite,并最终创建了一个惊人的 6.4TB 的 SQLite 数据库。这源于作者对单二进制部署的追求和对减少依赖的渴望。虽然迁移过程中遇到了一些挑战,例如数据库锁定错误和跨编译问题,但作者通过使用两个数据库连接、纯 Go 版本的 SQLite 和文件系统级别的压缩(BTRFS with zstd)成功解决了这些问题。最终,searchcode.com 的性能得到了显著提升,搜索速度更快,并且具备了更大的扩展潜力。
阅读更多
开发
代码搜索引擎