品質に関する指摘を検証する

指摘された翻訳に実際の問題があるかを確かめ、見解の相違を説明し、合意した診断を適切な修正につなげます。

指摘は、レビュー担当者が同じ文言を確認し、なぜ指摘されたのかを理解できてこそ役に立ちます。検証では、評価者の主張を原文、訳文、要件と照らし合わせ、証拠から何が判断できるかを見極めます。その結果、訳文の修正、原文の明確化、測定の改善につながることがあります。

このガイドは、チェックですでに得られた指摘の検証に使用してください。基準そのものは測定設計で、診断への合意後に行う修正はフィードバックのトリアージで扱います。

比較時の状態を再現する #

結果を開き、確認できる回答、判断理由、リクエストまたはイベントの識別情報を保存します。それらを、実際に評価された訳文と、それに対応する原文の版にひも付けます。調査に必要で、利用が許可された証拠だけを使用してください。結果を閲覧できるからといって、すべての版の履歴やエクスポート機能が利用できるとは限りません。

その基準が適用されるかを確認します。ナビゲーションのラベルには、保持すべき配送の約束はありません。配送について述べた文は、対応する原文がなくても、主張が保持されているかを評価する対象にはなります。ただし、現時点の証拠だけでは結論を出せません。証拠の不足、適用可否の不明確さ、評価を終えたうえでの判定不能という回答は、それぞれ区別してください。

原文の変更前に作成された訳文は、当時の原文に対して誤っているのではなく、単に更新されていない可能性があります。評価された版を特定できない場合は、過去の回答を最新の文面に照らして判断せず、指摘を未解決のまま残します。

指摘された意味の変化を検証する #

例として、原文がご注文の商品は5営業日以内に到着しますという意味だとします。訳文が5営業日以内に到着する可能性がありますに相当する場合、約束の度合いが弱まっています。一方、5稼働日以内に到着しますに相当する場合は、ロケールや業務方針によっては元の約束が保持されていると判断できます。

期限、条件、確実性の度合いを併せて読み取ります。数字が一致しているだけでは不十分ですが、表現が違うこと自体は誤りではありません。レビュー担当者には、原文と訳文の該当箇所を特定し、意図された意味を説明したうえで、訳文のどこでその意味が保持され、どこで変わっているかを示してもらいます。

チームの判定記録には、次のように結果を明記します。

判定結果証拠と次の対応
翻訳の不備を確認意味が変わった箇所や満たされていない要件を特定し、修正案を提示します。
誤検出その基準に照らして訳文が許容される理由を説明し、評価者の改善に役立てられるよう事例を保存します。
原文の問題曖昧さや矛盾を特定し、原文の責任者に解消を依頼します。
未解決合格や不備のラベルを付けず、不足している証拠や見解の相違を明記します。

これらは検証手順で記録に用いる分類名であり、製品上の状態として提供を約束するものではありません。評価者の説明が断定的でも、検証すべき主張であることに変わりはありません。

見解の相違を適切な観点で解消する #

製品知識と言語知識では、判断できる部分が異なります。「営業日」から現地の祝日が除かれるかどうかでレビュー担当者の意見が分かれる場合は、製品方針の責任者に確認して解決します。方針には合意していても訳文の表現で意見が分かれる場合は、その表現について結論を出すために必要な言語上の証拠を集めます。

判断の根拠と決定責任者を記録します。互いに矛盾する分類ラベルを平均しても、不備を検証したことにはなりません。双方のレビュー担当者が言語を十分に理解していても、未解決の事例から要件の曖昧さが明らかになることがあります。

解決済みの事例を使って基準を改善し、その指示の作成には使っていない別の事例群で変更を検証します。後の結果を、実際に問われた内容に照らして解釈できるよう、以前の版の基準も保存してください。

複数の指摘をまとめて検証する #

対象となる言語、コンテンツの種類、見かけ上の重大度を幅広く網羅するよう、不備の可能性が高い事例、誤検出の可能性が高い事例、曖昧な事例を選びます。選定方法も記録してください。意図的に選んだ事例からは、コンテンツ全体での発生頻度を推定できなくても、問題が生じるパターンを明らかにできます。

指摘された翻訳のサンプルからは、選んだ指摘のうち、どの程度が妥当かを確認できます。ただし、評価者が見逃した誤りをすべて明らかにすることはできません。見逃しを調べるには、指摘されなかった翻訳、または独立した判定を受けた事例から、別途定義したサンプルを調査します。分析では、これらの母集団を区別してください。

例として、指摘20件のサンプルのうち、12件が確認済みの不備、5件が誤検出、3件が未解決だったとします。解決済みの指摘17件のうち、不備が確認された割合は12/17で、解決済みの割合は17/20です。両方の比率と未解決件数を報告してください。これらが表すのは、選定した指摘済みサンプルの状況であり、翻訳全体の不備率や評価者の再現率ではありません。

より広い範囲の品質合格率も必要な場合は、測定設計で定めた対象母集団、判定が確定した事例を用いる分母、カバレッジの定義を使用します。この計算で分かることは、指摘のうちどの程度が不備と確認されたかとは異なります。

診断を修正につなげる #

確認された訳文の不備は、承認済みの文面を管理している場所で修正します。原文の曖昧さは、その責任者に伝えます。許容できる文章を繰り返し指摘する評価者は見直します。配信や表示の問題は、テキストを読み込むシステムで調査します。

個別の修正と共通の指示では、影響する範囲が異なります。指摘を用語集の項目やルール、語り口の変更に反映する前に、その指針の適用範囲と、既存の要件との矛盾がないかを確認してください。そのうえで、フィードバックのトリアージに従って権限の範囲内で修正を提案し、修正後の版を再確認します。