저렴하고 효과적인 기계 번역 품질 벤치마크
2025-05-20
개발자는 쌍을 이룬 평가와 브래들리-테리 모델을 사용하여 보다 과학적으로 엄격한 기계 번역 품질 벤치마크를 구축하려고 시도했습니다. 초기 시도는 높은 비용으로 인해 실패했으며, 각 실험에 수백 또는 수천 달러가 필요했습니다. 따라서 이전 평가 시스템과 쌍을 이룬 평가를 결합한 절충안 시스템이 고안되었습니다. 문장을 반복적으로 처리하고 여러 번역 평가 시스템을 사용하여 점수를 매기고 통계 분석을 결합함으로써 비용을 대폭 절감하고 우수한 p 값을 가진 신뢰할 수 있는 결과를 얻을 수 있었습니다. 맹검화의 엄격성을 다소 희생했지만, 이 새로운 시스템은 효율성을 크게 향상시켜 독일어 테스트를 약 6달러로 완료할 수 있었습니다.
더 보기
개발
기계 번역