シンプルなトランスフォーマーがコンウェイのライフゲームを解く

研究者たちは、高度に簡略化されたトランスフォーマーニューラルネットワークが、ゲームの例だけでコンウェイのライフゲームを完璧に計算できることを示しました。このモデルは、アテンションメカニズムを使用して、ライフゲームのルールにとって重要な隣接セルカウントを反映した3x3畳み込みを効果的に計算します。SingleAttentionNetと呼ばれるこのモデルは、そのシンプルな構造により内部計算の観察が可能であり、単純な統計的予測モデルではないことが示されています。この研究は、ランダムなライフゲームの最初の2回の反復だけでトレーニングした場合でも、モデルが100ゲームを100ステップ完璧に実行できることを明らかにしています。