6.4TB SQLite 데이터베이스, Searchcode.com 업그레이드 가속화
2025-02-17
소스 코드 검색 엔진인 Searchcode.com은 데이터베이스를 MySQL에서 SQLite로 마이그레이션하여 6.4TB라는 거대한 SQLite 데이터베이스를 구축했습니다. 이는 아마도 공개적으로 사용되는 인스턴스 중 가장 큰 규모일 것입니다. 단일 바이너리 배포 및 종속성 감소를 목표로 한 이 마이그레이션은 난관이 없지는 않았습니다. 데이터베이스 잠금 및 크로스 컴파일의 복잡성과 같은 문제는 이중 데이터베이스 연결, 순수 Go 버전 SQLite, 파일 시스템 수준의 압축(BTRFS with zstd)을 통해 극복되었습니다. 결과적으로 검색 속도와 백엔드 프로세스가 향상된 훨씬 빠르고 확장성이 높은 Searchcode.com이 탄생했습니다.
개발
소스 코드 검색 엔진