Test d'Aléatoire des LLM Révèle un Biais Inattendu
Cette expérience a testé l'aléatoire de plusieurs grands modèles de langage (LLM) d'OpenAI et d'Anthropic. En demandant aux modèles de lancer une pièce et de prédire des nombres aléatoires entre 0 et 10, les chercheurs ont découvert un biais significatif dans leurs résultats, révélant qu'ils ne sont pas vraiment aléatoires. Par exemple, dans l'expérience du lancer de pièce, tous les modèles ont montré une préférence pour « face », GPT-o1 affichant le biais le plus extrême à 49 %. Dans la prédiction des nombres pairs/impairs, la plupart des modèles ont favorisé les nombres impairs, Claude 3.7 Sonnet affichant le biais le plus fort à 47 %. Les résultats mettent en évidence que même les LLM avancés peuvent présenter des schémas inattendus influencés par les distributions de leurs données d'entraînement.