只需注意力机制：简单Transformer完美模拟生命游戏
2025-05-17
研究人员发现，一个高度简化的Transformer神经网络仅通过训练生命游戏示例，就能完美地计算康威生命游戏。该模型利用注意力机制计算3x3卷积，模拟了生命游戏中细胞存活规则的邻居计数。该模型名为SingleAttentionNet，其结构简单，允许观察其内部计算过程，证明其并非简单的统计预测模型。研究表明，即使只使用随机生命游戏的第一次和第二次迭代进行训练，该模型也能完美运行100个生命游戏100步。
阅读更多
AI