6,4 TB SQLite-Datenbank treibt Searchcode.com-Upgrade voran

2025-02-17

Searchcode.com, eine Suchmaschine für Quellcode, hat seine Datenbank von MySQL auf SQLite migriert, was zu einer riesigen 6,4 TB großen SQLite-Datenbank geführt hat – wahrscheinlich eine der größten öffentlich zugänglichen Instanzen. Angetrieben vom Wunsch nach einer Single-Binary-Bereitstellung und reduzierten Abhängigkeiten, war die Migration nicht ohne Herausforderungen. Probleme wie Datenbank-Sperren und Cross-Compilation-Komplexitäten wurden durch die Verwendung doppelter Datenbankverbindungen, einer reinen Go-SQLite-Version und Dateisystem-Komprimierung (BTRFS mit zstd) gelöst. Das Ergebnis? Ein deutlich schnelleres und skalierbareres Searchcode.com mit verbesserter Suchgeschwindigkeit und Back-End-Prozessen.