3FS: AI를 위한 고성능 분산 파일 시스템

3FS는 AI 학습 및 추론 작업 부하의 과제를 해결하기 위해 설계된 고성능 분산 파일 시스템입니다. 최신 SSD와 RDMA 네트워크를 활용하여 분산 애플리케이션 개발을 간소화하는 공유 스토리지 계층을 제공합니다. 주요 기능으로는 뛰어난 성능과 사용 편의성, CRAQ를 통한 강력한 일관성, 표준 파일 인터페이스, 다양한 작업 부하(데이터 준비, 데이터 로더, 체크포인트, 추론을 위한 KVCache) 지원 등이 있습니다. 벤치마크 테스트 결과 대규모 클러스터에서 최대 6.6 TiB/초의 읽기 처리량과 3.66 TiB/분의 정렬 처리량을 달성했습니다. KVCache는 LLM 추론 효율성을 크게 높여 최대 40 GiB/초의 피크 읽기 처리량에 도달합니다. 이 프로젝트는 오픈 소스이며 자세한 설정 및 실행 지침이 제공됩니다.