3FS:AIのための高性能分散ファイルシステム

2025-02-28
3FS:AIのための高性能分散ファイルシステム

3FSは、AIのトレーニングと推論のワークロードの課題に対処するために設計された高性能分散ファイルシステムです。最新のSSDとRDMAネットワークを活用することで、分散アプリケーションの開発を簡素化する共有ストレージレイヤーを提供します。主な機能には、優れたパフォーマンスと使いやすさ、CRAQによる強力な整合性、標準的なファイルインターフェース、さまざまなワークロード(データ準備、データローダー、チェックポイント、推論のためのKVCache)のサポートが含まれます。ベンチマークテストでは、大規模クラスタで最大6.6 TiB/秒の読み取りスループットと3.66 TiB/分のソートスループットを実現しました。KVCacheはLLM推論の効率を大幅に向上させ、最大40 GiB/秒のピーク読み取りスループットに達します。このプロジェクトはオープンソースであり、詳細なセットアップと実行手順が提供されています。