热门标签：
Mac 多显示器 显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车 全部标签

PyTorch原生架构优化: torchao

2024-10-01

torchao是一个PyTorch原生库，通过利用低比特数据类型、量化和稀疏性，使模型更快、更小。该库提供易于使用的技术工具包，涵盖推理和训练。文章重点介绍了torchao的功能，包括用于不同数据类型和稀疏布局的权重和动态激活量化、量化感知训练(QAT)、低精度计算和通信(float8)、低比特优化器以及与Huggingface transformers、diffusers、HQQ、torchtune、torchchat和SGLang等项目的集成。

阅读更多
(pytorch.org)
25
未分类

FlexAttention：兼具PyTorch灵活性和FlashAttention性能

2024-08-08

FlexAttention是一个新的PyTorch API，它在不损失灵活性的情况下，实现了与FlashAttention相当的性能。它允许用户通过自定义函数修改注意力分数，从而实现各种注意力机制，例如相对位置编码、ALiBi偏差、滑动窗口注意力、前缀语言模型和文档掩码。FlexAttention利用torch.compile将用户定义的函数降低到融合的FlashAttention内核中，并自动生成反向传播。它还支持利用注意力掩码中的稀疏性，从而显著提高性能。

阅读更多
(pytorch.org)
44
未分类 FlexAttention