颠覆Transformer的相似性度量:基于Tversky相似性的神经网络

2025-08-17
颠覆Transformer的相似性度量:基于Tversky相似性的神经网络

这篇论文提出了一种基于Tversky相似性的神经网络,挑战了深度学习中常用的点积或余弦相似性度量方法。它巧妙地将Tversky模型中传统的离散集合运算转化为可微分函数,从而能够在深度学习框架下进行训练。实验结果表明,这种新的神经网络在图像识别和语言建模任务中取得了显著的性能提升,同时具备良好的可解释性,能够直观地解释模型的决策过程。其核心创新在于使用一个可微分的Tversky相似性函数,该函数考虑了特征的共同性和独特性,更符合人类对相似性的认知。

阅读更多

扩散模型是进化算法

2024-11-14
扩散模型是进化算法

本文探讨了扩散模型与进化算法之间的联系。作者认为,扩散模型中的去噪过程类似于进化算法中的自然选择和变异过程。文中介绍了一种名为“扩散进化”的新算法,该算法基于迭代纠错,类似于扩散模型,但不依赖于神经网络。实验结果表明,该算法能够在多种适应度环境下找到高质量且多样化的解决方案,并在强化学习任务中取得良好效果。文章最后提出了一些开放性问题,例如如何将扩散进化算法应用于开放式环境,以及如何将扩散模型和进化算法的思想相互结合以促进两者发展。

阅读更多
未分类