3FS : Un système de fichiers distribué hautes performances pour l’IA
3FS est un système de fichiers distribué hautes performances conçu pour relever les défis des charges de travail d’entraînement et d’inférence de l’IA. Tirant parti des SSD modernes et des réseaux RDMA, il fournit une couche de stockage partagée qui simplifie le développement d’applications distribuées. Ses principales caractéristiques sont : des performances et une facilité d’utilisation exceptionnelles, une forte cohérence grâce à CRAQ, des interfaces de fichiers standard et la prise en charge de diverses charges de travail (préparation des données, chargeurs de données, points de contrôle et KVCache pour l’inférence). Les tests de référence montrent des résultats impressionnants : jusqu’à 6,6 TiB/s de débit de lecture sur les grands clusters et 3,66 TiB/min de débit de tri. KVCache améliore considérablement l’efficacité de l’inférence LLM, atteignant un débit de lecture maximal de 40 GiB/s. Le projet est open source et fournit des instructions de configuration et d’exécution détaillées.