3FS: Un sistema de archivos distribuido de alto rendimiento para IA

3FS es un sistema de archivos distribuido de alto rendimiento diseñado para abordar los desafíos de las cargas de trabajo de entrenamiento e inferencia de IA. Aprovechando SSD modernos y redes RDMA, proporciona una capa de almacenamiento compartido que simplifica el desarrollo de aplicaciones distribuidas. Las características clave incluyen: rendimiento y facilidad de uso excepcionales, consistencia fuerte mediante CRAQ, interfaces de archivos estándar y soporte para diversas cargas de trabajo (preparación de datos, cargadores de datos, puntos de control y KVCache para inferencia). Los puntos de referencia demuestran resultados impresionantes: hasta 6,6 TiB/s de rendimiento de lectura en clústeres grandes y 3,66 TiB/min de rendimiento de ordenación. KVCache aumenta significativamente la eficiencia de inferencia de LLM, alcanzando un rendimiento de lectura máximo de 40 GiB/s. El proyecto es de código abierto con instrucciones detalladas de configuración y ejecución.