AMTA Publishes Framework for Evaluating Translation QE Systems

米州機械翻訳協会、翻訳QEシステムの評価フレームワークを発表

州機械翻訳協会（AMTA）は、翻訳品質推定（QE）システムを評価するためのフレームワークを発表した。市販のQEシステムを直接ベンチマークするのではなく、QEの導入可否や導入方法を検討する際に適用できる、ユースケースに基づいた共通の評価方法の開発を目指したという。

また、QEの性能はシステム、データ、実際の運用条件の変化に伴って変わる可能性があるため、定期的に再評価することも推奨している。