Effondrement du modèle : le risque d’autocannibalisation de l’IA

Avec la popularisation croissante des grands modèles de langage (LLM), un risque appelé « effondrement du modèle » attire l’attention. Comme les LLM sont de plus en plus entraînés sur des textes qu’ils génèrent eux-mêmes, les données d’entraînement s’éloignent des données du monde réel, ce qui peut entraîner une baisse de la qualité des résultats du modèle et même des résultats absurdes. Des recherches montrent que ce problème ne se limite pas aux LLM ; tout modèle génératif entraîné de manière itérative peut faire face à des risques similaires. Si l’accumulation de données ralentit cette dégradation, elle augmente les coûts informatiques. Les chercheurs explorent la curation des données et l’auto-évaluation des modèles pour améliorer la qualité des données synthétiques, prévenir l’effondrement et résoudre les problèmes de diversité qui en résultent.