3FS: Ein hochperformantes verteiltes Dateisystem für KI

3FS ist ein hochperformantes verteiltes Dateisystem, das entwickelt wurde, um die Herausforderungen von KI-Trainings- und Inferenz-Workloads zu bewältigen. Es nutzt moderne SSDs und RDMA-Netzwerke, um eine gemeinsam genutzte Speicherschicht bereitzustellen, die die Entwicklung verteilter Anwendungen vereinfacht. Zu den Hauptmerkmalen gehören: außergewöhnliche Leistung und Benutzerfreundlichkeit, starke Konsistenz durch CRAQ, Standard-Dateischnittstellen und Unterstützung für diverse Workloads (Datenvorbereitung, Dataloader, Checkpointing und KVCache für Inferenz). Benchmarks zeigen beeindruckende Ergebnisse: bis zu 6,6 TiB/s Lese-Durchsatz in großen Clustern und 3,66 TiB/min Sortier-Durchsatz. KVCache steigert die Effizienz der LLM-Inferenz erheblich und erreicht einen maximalen Lese-Durchsatz von 40 GiB/s. Das Projekt ist Open Source und bietet detaillierte Installations- und Ausführungsanweisungen.