YaFSDP: 又一个全分片数据并行框架

YaFSDP是一个专为类Transformer神经网络架构设计的分片数据并行框架。与FSDP相比，YaFSDP在预训练大型语言模型方面速度提升高达20%，并且在高内存压力条件下表现更出色，因为它旨在减少通信和内存操作开销。