OpenAIがRedditのr/ChangeMyViewを使ってAIの説得力をベンチマーク
2025-02-02
OpenAIは、新しい推論モデルo3-miniの説得力を評価するために、Redditのr/ChangeMyViewサブRedditを利用しました。ユーザーが意見を投稿し議論するこのサブRedditは、AIが生成した回答が意見を変える能力を評価するためのユニークなデータセットを提供しました。o3-miniはo1やGPT-4oなどの以前のモデルを大幅に上回ることはありませんでしたが、すべて強力な説得力のある能力を示し、人間のトップ80〜90パーセンタイルにランクインしました。OpenAIは、目標が非常に説得力のあるAIを作成することではなく、過度に説得力のあるモデルに関連するリスクを軽減することであると強調しています。このベンチマークは、AIモデル開発のための高品質なデータセットを確保することの継続的な課題を浮き彫りにしています。
AI
説得力