Popular：
Virtualization DNS security formal verification reachability analysis compiler errors macro conflict web extension development framework Bitmap Graphics API inconsistencies All Tags

Mutable.ai：Dao-AILab/flash-attention

2024-07-15

flash-attention 库提供了一种高度优化和高效的 Transformer Attention 机制实现，称为“Flash Attention”。该库对构建基于 Transformer 模型的工程师特别有用，因为它比标准 PyTorch 实现提供了显著的性能改进。该库的核心是 …/flash_attn 目录，其中包含基于 C++ 和 CUDA 的 Flash Attention 算法实现。这包括前向和后向注意力计算，以及各种实用函数和内核生成。

(wiki.mutable.ai)
34
未分类 Flash Attention