객체 저장소의 논리적으로 삭제된 파일 효율적으로 정리하기: WarpStream의 경험

이 글에서는 분산 시스템을 구축할 때 객체 저장소에서 논리적으로 삭제된 파일을 효율적으로 정리하는 방법에 대한 저자의 경험을 자세히 설명합니다. 버킷 정책이나 동기 삭제를 직접 사용하는 것은 모두 단점이 있습니다. 버킷 정책은 다양한 데이터 보존 요구 사항을 가진 복잡한 시스템을 처리할 수 없고, 동기 삭제는 고아 파일로 이어질 수 있습니다. 저자는 지연 큐와 비동기 조정을 비교하여 최종적으로 하이브리드 접근 방식을 채택했습니다. WarpStream 에이전트에 "낙관적 삭제 큐"를 도입하고 비동기 조정과 결합하여 효율적이고 비용 효과적인 파일 정리를 구현하고 고아 파일을 효과적으로 방지합니다. 이 접근 방식은 시스템의 특성을 활용하고 장애 허용 및 재해 복구를 고려합니다.