Modèles de diffusion pour le prix ARC AGI : une tâche étonnamment difficile
Cet article détaille une tentative de résolution du défi ARC AGI à l’aide d’un modèle de diffusion. L’auteur a adapté un modèle linguistique autorégressif finement réglé en un modèle de diffusion, permettant une génération non séquentielle. Bien que l’approche par diffusion ait permis d’obtenir une précision des pixels légèrement meilleure, elle ne s’est pas traduite par une amélioration des taux de réussite des tâches. Le principal goulot d’étranglement a été identifié comme le manque de mise en cache efficace dans l’architecture du modèle de diffusion, le rendant plus lent que la ligne de base autorégressive. Les travaux futurs se concentreront sur l’amélioration de la mise en cache et le développement de stratégies de génération de candidats plus efficaces.
Lire plus