OpenAI usa o r/ChangeMyView do Reddit para avaliar a persuasão da IA

A OpenAI utilizou o subreddit r/ChangeMyView do Reddit para avaliar as habilidades persuasivas de seu novo modelo de raciocínio, o o3-mini. O subreddit, onde os usuários postam opiniões e participam de debates, forneceu um conjunto de dados único para avaliar o quão bem as respostas geradas pela IA poderiam mudar de ideia. Embora o o3-mini não tenha superado significativamente os modelos anteriores, como o o1 ou o GPT-4o, todos demonstraram fortes habilidades persuasivas, classificando-se no percentil 80-90 superior do desempenho humano. A OpenAI enfatiza que o objetivo não é criar uma IA hiperpersuasiva, mas sim mitigar os riscos associados a modelos excessivamente persuasivos. O benchmark destaca o desafio contínuo de obter conjuntos de dados de alta qualidade para o desenvolvimento de modelos de IA.