类GPT模型的长卷积：多项式、快速傅里叶变换和因果关系
2024-12-10
本文探讨了类GPT模型中长卷积的应用，并解释了其高效计算方法。文章将卷积运算与多项式乘法联系起来，并利用快速傅里叶变换（FFT）实现高效计算。同时，强调了因果关系在实现类似GPT模型中的单向性（从左到右预测）的重要性，并讨论了不同卷积操作（例如，使序列更长、截断或循环卷积）对序列长度和模型行为的影响。
未分类
长卷积