Sorbet：一种与神经形态硬件兼容的基于Transformer的脉冲语言模型 (arxiv.org)

为了满足边缘设备对语言模型的需求，该文介绍了一种名为Sorbet的基于Transformer的脉冲语言模型。Sorbet针对神经形态硬件的兼容性进行了优化，采用了PTsoftmax和BSPN等创新方法，分别替代了softmax和层归一化等高能耗操作，并通过知识蒸馏和模型量化实现了高效的二进制权重模型。