AWS在re:Invent上发布了Aurora DSQL，这篇文章深入探讨了其开发历程。为了解决传统数据库横向扩展写入的难题，AWS团队最初尝试使用JVM，但遇到了严重的性能瓶颈，特别是垃圾回收导致的尾部延迟问题。最终，他们决定将数据平面重写为Rust，这显著提升了性能，降低了尾部延迟。此外，团队还将控制平面也迁移到Rust，避免了多语言带来的复杂性。这个项目证明了，质疑既有方案并尝试新技术（即使是代价高昂的语言迁移），能带来巨大的回报。
阅读更多
亚马逊S3服务迎来了它19岁的生日！这篇文章讲述了S3从简单的对象存储发展成为一个复杂而强大的数据平台的历程。通过倾听客户反馈，S3不断改进，例如推出S3 Tables，提供更强大的表格数据处理能力，并解决了诸如提升存储桶数量限制等问题。S3团队强调“简单性”，致力于让开发者专注于业务逻辑而非底层技术细节，并通过持续的性能提升和弹性扩展满足不断增长的需求。
阅读更多
本文是亚马逊S3副总裁兼杰出工程师Andy Warfield在USENIX FAST ‘23上的演讲总结。文章从三个角度探讨了构建和运营像S3这样规模的存储系统所带来的挑战和经验。Warfield分享了他在S3工作六年来的体会，包括从硬盘机制到客户体验的方方面面，以及如何管理海量硬盘、应对热点问题、利用复制和纠删码提高数据容错性和性能等技术细节。此外，文章还强调了“所有权”的重要性，即赋能团队自主决策，从而提高效率和创新能力。这篇文章对于想了解大型分布式存储系统设计和运维的读者来说非常有价值。
阅读更多
这篇文章回顾了AWS弹性块存储（EBS）十多年来的发展历程，从最初依赖共享硬盘的简单块存储服务，发展成为如今每天处理超过140万亿次操作的大规模网络存储系统。文章详细介绍了EBS团队如何通过采用固态硬盘、优化网络和软件架构、以及持续改进性能等措施，不断提升EBS的性能和可靠性，满足客户不断增长的需求。
阅读更多