Webtagr - Technologienummer

AWS Aurora DSQL: Eine Datenbankarchitekturrevolution von JVM zu Rust

2025-05-27

AWS kündigte Aurora DSQL auf der re:Invent an, und dieser Beitrag geht tief in den Entwicklungsprozess ein. Um die Herausforderung der horizontalen Skalierung von Schreibvorgängen in traditionellen Datenbanken zu bewältigen, verwendete das AWS-Team zunächst JVM, stieß aber auf erhebliche Performance-Engpässe, insbesondere Tail-Latency-Probleme aufgrund der Garbage Collection. Letztendlich wurde beschlossen, die Datenebene in Rust umzuschreiben, was die Performance deutlich verbesserte und die Tail-Latency reduzierte. Darüber hinaus migrierte das Team auch die Steuerungsebene auf Rust und vermied so die Komplexität mehrerer Sprachen. Dieses Projekt zeigt, dass das Hinterfragen bestehender Lösungen und das Experimentieren mit neuen Technologien (selbst kostspielige Sprachmigrationen) erhebliche Vorteile bringen kann.

(www.allthingsdistributed.com)

Entwicklung

S3 wird 19: Von einfachem Objektspeicher zur hochentwickelten Datenplattform

2025-03-14

Amazon S3 feiert seinen 19. Geburtstag! Dieser Beitrag beschreibt die Entwicklung von S3 von einem einfachen Objektspeicher zu einer hochentwickelten Datenplattform. Angetrieben durch Kundenfeedback, verbessert sich S3 kontinuierlich, beispielsweise durch die Einführung von S3 Tables für eine verbesserte Verarbeitung tabellarischer Daten und die Lösung von Einschränkungen wie erhöhte Bucket-Limits. Das S3-Team betont „Einfachheit“ und möchte Entwicklern ermöglichen, sich auf die Geschäftslogik zu konzentrieren, anstatt auf die Infrastruktur, während gleichzeitig die Leistung und die elastische Skalierbarkeit kontinuierlich verbessert werden, um den wachsenden Anforderungen gerecht zu werden.

(www.allthingsdistributed.com)

Technologie

Amazon S3: Lehren aus 17 Jahren Aufbau eines massiven Speichersystems

2025-02-25

Dieser Beitrag fasst die Keynote-Ansprache von Andy Warfield auf der USENIX FAST ‘23 zusammen, in der er drei verschiedene Perspektiven auf die Skalierung beim Aufbau und Betrieb eines Speichersystems der Größe von Amazon S3 beleuchtete. Warfield teilt seine sechsjährige Erfahrung bei S3 und deckt dabei alles von der Mechanik der Festplatten bis hin zur Kundenerfahrung ab. Er beschreibt technische Herausforderungen wie die Verwaltung von Millionen von Festplatten, die Bewältigung von Hotspots und die Nutzung von Replikation und Erasure Coding für Langlebigkeit und Leistung. Der Artikel hebt auch die Bedeutung von „Ownership“ hervor, indem er Teams befähigt, Entscheidungen zu treffen und Innovationen zu fördern. Eine wertvolle Lektüre für alle, die sich für große verteilte Speichersysteme interessieren.

(www.allthingsdistributed.com)

Technologie