PyTorch原生架构优化: torchao

torchao是一个PyTorch原生库，通过利用低比特数据类型、量化和稀疏性，使模型更快、更小。该库提供易于使用的技术工具包，涵盖推理和训练。文章重点介绍了torchao的功能，包括用于不同数据类型和稀疏布局的权重和动态激活量化、量化感知训练(QAT)、低精度计算和通信(float8)、低比特优化器以及与Huggingface transformers、diffusers、HQQ、torchtune、torchchat和SGLang等项目的集成。