Benchmark de qualité de traduction linguistique peu coûteux et efficace

Un développeur a tenté de construire un benchmark de qualité de traduction linguistique plus rigoureux scientifiquement en utilisant des évaluations par paires et un modèle Bradley-Terry. Les tentatives initiales ont échoué en raison des coûts élevés, chaque expérience nécessitant des centaines, voire des milliers de dollars. Un système de compromis a été conçu, combinant l'ancien système de notation avec des évaluations par paires. En traitant les phrases de manière itérative, en utilisant plusieurs systèmes d'évaluation de traduction pour attribuer des notes et en combinant l'analyse statistique, les coûts ont été considérablement réduits, produisant des résultats fiables avec de bonnes valeurs p. Bien que sacrifiant une certaine rigueur dans l'aveuglement, le nouveau système a amélioré significativement l'efficacité, complétant un test en allemand pour environ 6 dollars.