Un Transformer simple résout le Jeu de la Vie de Conway

Des chercheurs ont montré qu'un réseau neuronal Transformer hautement simplifié peut calculer parfaitement le Jeu de la Vie de Conway simplement en étant entraîné sur des exemples du jeu. Le modèle utilise son mécanisme d'attention pour calculer efficacement des convolutions 3x3, reflétant le comptage des voisins crucial pour les règles du Jeu de la Vie. Nommé SingleAttentionNet, sa structure simple permet l'observation de ses calculs internes, démontrant qu'il ne s'agit pas d'un simple prédicteur statistique. L'étude révèle que le modèle peut exécuter parfaitement 100 jeux pendant 100 étapes, même lorsqu'il est entraîné uniquement sur les première et deuxième itérations d'instances aléatoires du Jeu de la Vie.