AWS Aurora DSQL: JVM에서 Rust로의 데이터베이스 아키텍처 혁명

2025-05-27
AWS Aurora DSQL: JVM에서 Rust로의 데이터베이스 아키텍처 혁명

AWS는 re:Invent에서 Aurora DSQL을 발표했으며, 이 글에서는 그 개발 과정을 자세히 설명합니다. 기존 데이터베이스의 쓰기 작업을 수평적으로 확장하는 과제에 대처하기 위해 AWS팀은 처음에 JVM을 사용했지만, 심각한 성능 병목 현상, 특히 가비지 컬렉션으로 인한 테일 레이턴시 문제에 직면했습니다. 결국 데이터 플레인을 Rust로 다시 작성하기로 결정했고, 이를 통해 성능이 크게 향상되고 테일 레이턴시가 줄었습니다. 또한 팀은 제어 플레인도 Rust로 마이그레이션하여 여러 언어를 사용하는 복잡성을 피했습니다. 이 프로젝트는 기존 솔루션에 의문을 제기하고 새로운 기술(비용이 많이 드는 언어 마이그레이션이라도)을 시도하는 것이 큰 보상을 가져올 수 있음을 보여줍니다.

더 보기
개발

S3 19주년: 단순 객체 저장소에서 정교한 데이터 플랫폼으로의 진화

2025-03-14
S3 19주년: 단순 객체 저장소에서 정교한 데이터 플랫폼으로의 진화

Amazon S3가 19주년을 맞이했습니다! 이 글에서는 S3가 단순한 객체 저장소에서 정교한 데이터 플랫폼으로 진화해 온 과정을 살펴봅니다. 고객 피드백을 바탕으로 S3는 지속적으로 개선되어 왔으며, 테이블 데이터 처리 기능을 강화한 S3 Tables 도입과 버킷 수 제한 증가 등이 그 예입니다. S3 팀은 '단순성'을 중시하며, 개발자가 인프라가 아닌 비즈니스 로직에 집중할 수 있도록 하면서 성능과 탄력적인 확장성 개선을 지속적으로 추구하고 있습니다.

더 보기
기술

Amazon S3: 대규모 스토리지 시스템 구축 17년간의 교훈

2025-02-25
Amazon S3: 대규모 스토리지 시스템 구축 17년간의 교훈

이 글은 Andy Warfield가 USENIX FAST ‘23에서 한 기조연설을 요약한 것입니다. 그는 Amazon S3 규모의 스토리지 시스템 구축 및 운영에 따른 세 가지 다른 측면의 확장성에 대해 논의했습니다. Warfield는 하드 디스크 메커니즘부터 고객 경험에 이르기까지 S3에서 6년간의 경험을 공유합니다. 수백만 개의 하드 디스크 관리, 핫스팟 해결, 내구성 및 성능을 위한 복제 및 삭제 코드 활용 등 기술적 과제에 대해 자세히 설명합니다. 또한 팀의 의사 결정 권한을 부여하고 혁신을 촉진하는 '소유권'의 중요성을 강조합니다. 대규모 분산 스토리지 시스템에 관심 있는 사람들에게 귀중한 글입니다.

더 보기