Softmax 永恒的魅力？一个关于对数谐波函数的深度思考
2025-02-20
十年前，作者在教授自然语言处理课程时，被学生问到softmax的替代方案。最近一篇论文提出对数谐波函数作为softmax的替代，引发了作者的深入思考。文章分析了softmax和对数谐波函数的偏导数，发现softmax的梯度具有良好的可解释性和收敛性，而对数谐波函数的梯度在原点附近存在奇异性，可能导致训练困难。作者认为，尽管如此，强大的优化器或许可以克服这些挑战，但对数谐波函数的改进空间仍值得探索。
阅读更多