高效Transformer：稀疏门控专家混合模型(MoE)

Transformer模型中的前馈网络层通常参数量巨大，成为效率瓶颈。稀疏门控专家混合模型(MoE)提供了一种优雅的解决方案。MoE将大型前馈层分解成多个小型“专家”网络，并使用路由器选择每个token最合适的专家子集进行计算，从而显著降低计算成本，提升效率。这篇文章详细解释了MoE的原理，并提供了基于NumPy的实现代码，同时也探讨了专家负载均衡等关键问题。