OpenAI utiliza r/ChangeMyView de Reddit para evaluar la persuasión de la IA
OpenAI utilizó el subreddit r/ChangeMyView de Reddit para evaluar las habilidades persuasivas de su nuevo modelo de razonamiento, el o3-mini. El subreddit, donde los usuarios publican opiniones y participan en debates, proporcionó un conjunto de datos único para evaluar qué tan bien las respuestas generadas por la IA podían cambiar de opinión. Si bien el o3-mini no superó significativamente a los modelos anteriores, como el o1 o el GPT-4o, todos demostraron fuertes habilidades persuasivas, clasificándose en el percentil 80-90 superior del rendimiento humano. OpenAI enfatiza que el objetivo no es crear una IA hiperpersuasiva, sino mitigar los riesgos asociados con modelos excesivamente persuasivos. El benchmark destaca el desafío continuo de obtener conjuntos de datos de alta calidad para el desarrollo de modelos de IA.