OpenAI utilise r/ChangeMyView de Reddit pour évaluer la persuasion de l'IA

OpenAI a utilisé le subreddit r/ChangeMyView de Reddit pour évaluer les capacités de persuasion de son nouveau modèle de raisonnement, o3-mini. Le subreddit, où les utilisateurs publient des opinions et participent à des débats, a fourni un ensemble de données unique pour évaluer dans quelle mesure les réponses générées par l'IA pouvaient changer d'avis. Bien que o3-mini n'ait pas surpassé significativement les modèles précédents, tels que o1 ou GPT-4o, tous ont démontré de fortes capacités de persuasion, se classant dans le 80e-90e percentile supérieur des performances humaines. OpenAI souligne que l'objectif n'est pas de créer une IA hyper-persuasive, mais plutôt d'atténuer les risques associés à des modèles excessivement persuasifs. L'évaluation met en évidence le défi permanent d'obtenir des ensembles de données de haute qualité pour le développement de modèles d'IA.