低コストで効果的な機械翻訳品質ベンチマーク
2025-05-20
開発者は、ペアワイズ評価とブラッドリーテリーモデルを用いて、より科学的に厳密な機械翻訳品質ベンチマークの構築を試みました。初期の試みは高コストのため失敗し、実験ごとに数百ドルから数千ドルが必要でした。そこで、古い評価システムとペアワイズ評価を組み合わせた妥協案のシステムが考案されました。文を反復処理し、複数の翻訳評価システムを使用してスコアを付け、統計分析を組み合わせることで、コストを大幅に削減し、良好なp値を持つ信頼性の高い結果を得ることができました。盲検化の厳格性をいくらか犠牲にしたものの、この新しいシステムは効率を大幅に向上させ、ドイツ語のテストを約6ドルで完了することができました。
開発
機械翻訳