FlexAttention:兼具PyTorch灵活性和FlashAttention性能

2024-08-08

FlexAttention是一个新的PyTorch API,它在不损失灵活性的情况下,实现了与FlashAttention相当的性能。它允许用户通过自定义函数修改注意力分数,从而实现各种注意力机制,例如相对位置编码、ALiBi偏差、滑动窗口注意力、前缀语言模型和文档掩码。FlexAttention利用torch.compile将用户定义的函数降低到融合的FlashAttention内核中,并自动生成反向传播。它还支持利用注意力掩码中的稀疏性,从而显著提高性能。

未分类 FlexAttention