AWSはre:InventでAurora DSQLを発表し、この記事ではその開発経緯を詳しく解説しています。従来のデータベースにおける書き込みの水平スケーリングという課題に取り組むため、AWSチームは当初JVMを使用していましたが、深刻なパフォーマンスボトルネック、特にガベージコレクションによるテールレイテンシの問題に直面しました。最終的に、データプレーンをRustに書き換えることを決定し、これによりパフォーマンスが大幅に向上し、テールレイテンシが削減されました。さらに、チームはコントロールプレーンもRustに移行し、複数の言語を使用することによる複雑さを回避しました。このプロジェクトは、既存の解決策に疑問を呈し、新しい技術（高コストの言語移行であっても）を試すことが、大きな報酬をもたらすことを示しています。
続きを読む
Amazon S3が19歳の誕生日を迎えました！この記事では、S3がシンプルなオブジェクトストレージから洗練されたデータプラットフォームへと進化してきた過程をたどります。顧客からのフィードバックを基に、S3は継続的に改善されており、テーブルデータ処理を強化したS3 Tablesの導入や、バケット数の制限増加など、その例が挙げられます。S3チームは「シンプルさ」を重視し、開発者がインフラストラクチャではなくビジネスロジックに集中できるようにしながら、パフォーマンスと弾力的なスケーラビリティの向上を継続的に目指しています。
続きを読む
この記事は、Andy Warfield氏がUSENIX FAST ‘23で行った基調講演の要約です。同氏は、Amazon S3規模のストレージシステムの構築と運用に伴うスケールに関する3つの異なる観点を議論しました。Warfield氏は、ハードディスクのメカニズムから顧客体験に至るまで、S3での6年間の経験を共有しています。数百万台のハードディスクの管理、ホットスポットへの対処、耐久性とパフォーマンスのためのレプリケーションとイレージャーコーディングの活用など、技術的な課題について詳細に説明しています。また、チームの意思決定権限を与え、イノベーションを促進する「オーナーシップ」の重要性も強調しています。大規模な分散ストレージシステムに関心のある方にとって、貴重な記事です。
続きを読む