The Problem with Evaluating State-of-the-Art AI Translation
最先端のAI翻訳システムにおける評価には、問題があるとする研究結果が発表された。主要なAI翻訳システムは、広く用いられているベンチマークで「ほぼ完璧なスコア」を獲得し、人間による翻訳に近いレベルと評されるが、これは現行のテストセットが、今日のモデルにとって単に簡単すぎるからである。
もう一つの注目すべき発見は、人間と機械とでは「難しい」とみなす基準がしばしば異なり、同じテキストで苦労するとは限らないという点であり、人間と機械の双方にとっての課題を反映したテストセットを設計することが重要である。