形状旋转入门：Einsum 和 Jax Transformer 简介
2024-06-23
本文介绍了 einsum 符号和 Jax Transformer。einsum 是一种用于张量操作的 API，它使用爱因斯坦求和约定来简化多维数组上的复杂线性代数运算，例如张量缩并和求和。文章详细解释了 einsum 符号的语法和规则，并通过矩阵乘法、转置等示例演示了其用法。此外，文章还介绍了 Jax Transformer 的简单实现，并解释了如何使用 einsum 在 Jax 中实现多头注意力机制。
阅读更多
43