Amazon S3: Lehren aus 17 Jahren Aufbau eines massiven Speichersystems

Dieser Beitrag fasst die Keynote-Ansprache von Andy Warfield auf der USENIX FAST ‘23 zusammen, in der er drei verschiedene Perspektiven auf die Skalierung beim Aufbau und Betrieb eines Speichersystems der Größe von Amazon S3 beleuchtete. Warfield teilt seine sechsjährige Erfahrung bei S3 und deckt dabei alles von der Mechanik der Festplatten bis hin zur Kundenerfahrung ab. Er beschreibt technische Herausforderungen wie die Verwaltung von Millionen von Festplatten, die Bewältigung von Hotspots und die Nutzung von Replikation und Erasure Coding für Langlebigkeit und Leistung. Der Artikel hebt auch die Bedeutung von „Ownership“ hervor, indem er Teams befähigt, Entscheidungen zu treffen und Innovationen zu fördern. Eine wertvolle Lektüre für alle, die sich für große verteilte Speichersysteme interessieren.