翻訳品質の測定を設計する
言語に関する要件を検証可能な基準に落とし込み、判定を調整し、見つかった問題の頻度と範囲を報告します。
品質スコアが役立つのは、何が変わればスコアが変わるのかを説明できるときです。翻訳から重要な条件が抜け落ちたなら、その欠落を検出できなければなりません。同じ内容をより自然に表現しただけなら、許容できる違いとして認識する必要があります。測定を設計するとは、こうした違いを検証できるよう、明確に定義することです。
このガイドでは、要件の定義から判定の調整、結果の報告までを説明します。翻訳の提供元が外部の業者でも、社内のパイプラインでも、Lingo.devでも、考え方は同じです。目指すのは、作成者がその場にいなければ意味が分からない数値ではありません。別の人でも同じ条件で実行し、結果を解釈できる測定です。
見極めるべき意味の変化を定義する #
まず、コンテンツが意図する効果から考えます。指示は、正しい行動につながる必要があります。主張は、その強さや限定条件が保たれていなければなりません。製品用語は、別の言語でも同じ概念を指す必要があります。「正確な翻訳」という言葉は目標を示すだけで、こうした違いまでは明らかにしません。
確実性と条件について考えてみましょう。承認後に利用可能になる場合がありますという表現では、可能性、承認という要件、そして両者の関係のすべてが意味を持ちます。これを無条件の約束として訳すと、利用可能であることや承認に相当する言葉が残っていても、主張の内容は変わってしまいます。
この違いを見極める基準は、たとえば次のように記述できます。
基準の例:主張と条件を保つ
原文と訳文の主張を比較し、訳文で次の要素が保たれているかを確認します。
- 確実性や義務の度合い。
- 主張が適用される状況を限定する個々の条件。
- 条件と主張の関係。
これらの意味が保たれていれば、言い回しや文の構造の違いは許容します。誤りが疑われる場合は、原文と訳文の該当箇所を示し、どの約束や条件が変わったのかを説明します。手元のテキストだけでは比較できない場合は、何が不足しているのかを説明します。
基準があれば、評価者は具体的に何を調べるべきか分かります。レビュー担当者も、判定に異議を唱える根拠を示せます。「正確性を確認する」という曖昧な依頼では、評価者もレビュー担当者も、それぞれ独自の基準で補わなければなりません。
次に下す判断に合わせて、測定の範囲を選びます。詳しいレビューが必要な記述を見つけるには、確実な検出と分かりやすい指摘が必要です。翻訳の提供元を比較するなら、共通のサンプルと、指摘を集約する方法も欠かせません。特定の項目を公開するかどうかを判断するには、その項目に適用される要件が必要です。同じチェックをそれぞれの判断に役立てることはできますが、チェック自体がこの三つの判断をすべて下すわけではありません。
問いに答えるためのテキストを選ぶ #
測定の単位を定義します。上記の基準では、原文の主張一つと、それに対応する訳文の主張を使い、条件を解釈するのに十分な前後のテキストを添えます。コンテンツID、原文のリビジョン、訳文のリビジョン、ロケールは、ひとまとめにして管理します。古い原文に対する正しい翻訳でも、新しい原文と比較すると誤りに見えることがあります。
確認したい違いを含むコンテンツを選びます。主張を含まないナビゲーションラベルは、この基準の対象外です。それを合格に数えると、確実性や条件が保たれているかは何も分からないまま、合格率だけが上がってしまいます。
根拠の不足は、対象外であることとは別の問題です。選んだ主張に対応する原文がなければ、その主張は評価対象に含まれていても、まだ比較はできません。この不足が分かるようにしておきます。基準が適用されるかどうか不明な場合も、その項目を黙って除外するのではなく、不確実であることを記録します。
判定に影響する文脈を添えます。用語の定義や製品のルールが曖昧さを解消する一方で、無関係なコンテンツは判断の妨げになることがあります。訳文だけのスペルチェックなら、原文と訳文の意味を比較する場合ほど多くの根拠は必要ありません。何を集めるかは、問いによって決まります。
各判定の意味を明確にする #
主張が保たれているかを調べる例では、次の三つの判定で十分です。
| 判定 | 意味 |
|---|---|
| 保持 | 同じ意味の言い回しを許容したうえで、原文の確実性、義務、関連する条件が訳文に保たれている。 |
| 変化 | その意味のうち、特定できる部分が変わっているか、失われている。指摘には、該当箇所が示されている。 |
| 判定不能 | 評価者は比較を完了したが、得られた根拠ではどちらの結論も裏付けられなかった。説明には、不確実な点が示されている。 |
これらは測定手法を説明するためのラベルであり、APIのスキーマではありません。使用するツールの実際の回答形式に対応付けてください。たとえば、Radarのカスタム真偽値測定では、真、偽、またはヌルの回答を理由とともに返せます。ヌルになる原因は一つとは限らないため、その理由を確認してください。
中間の段階を設けることで有用な違いを表せる場合は、数値尺度を使います。各段階は、レビュー担当者が見分けられる形で定義します。80という値には、「かなり良い」よりも明確な意味が必要です。重大度が重要なら、誤りがもたらす影響に基づいて定義し、結果を集約するときも重大な指摘が埋もれないようにします。平均が高くても、重要な箇所に許容できない変化があることはあります。
リクエストが失敗した場合、言語面の判定は完了していません。評価を完了したうえで判定不能と回答した場合とは、分けて扱います。この区別によって、次に必要なのが実行の復旧なのか、根拠に残る曖昧さの解消なのかが決まります。
答えが分かっている事例で測定を検証する #
チームに評価する権限があるコンテンツから、判定の調整用データセットを用意します。明らかな誤り、良い翻訳、自然な言い換え、文脈によって答えが変わる事例を含めます。判定だけでなく対象の選び方も検証できるよう、基準の対象外となるコンテンツも含めます。
必要な専門知識を持つレビュー担当者に、期待される判定とその理由を定めてもらいます。意見の相違も有益な情報です。原文に二通りの解釈が成り立つなら、意図する意味を確定するか、不確実性を残します。基準が明確なのに、評価者が許容できる言い換えを誤りとする場合は、測定を改善する必要があります。
次の二種類の誤判定を、分けて調べます。
- 誤検出は、許容できる翻訳を誤りとして指摘することです。レビューの手間がかかり、不要な修正につながるおそれがあります。
- 見逃しは、測定で検出できなかった実際の問題です。その影響は、発生頻度だけでなく、どのような意味が失われたかによって異なります。
測定を改良したら、その指示の作成に使わなかった事例で検証します。LLMが評価する場合は、モデル、プロンプト、設定、繰り返し実行した際に見られたばらつきを記録します。自身の過去の回答と一致しても、チームの基準と一致しているとは限りません。
調整を通じて、チェックが有効に機能する範囲と、さらに根拠が必要な範囲を具体的に記録します。一つのコンテンツ種別と一つの言語ペアで検証した手法は、有用な出発点です。ただし、会社が作成するすべての翻訳について結論を出せるわけではありません。
問題と調べた対象を報告する #
既知の事例でチェックが役立つようになったら、範囲を定めたコンテンツ群やサンプルに適用します。サンプルの選び方も記録してください。無作為に抽出したサンプルと、別のチェックで翻訳のリスクが高いと判断されたために選んだサンプルとでは、導ける推論が異なります。後者は問題の発見には役立っても、コンテンツ全体での発生頻度は推定できない場合があります。
対象条件を満たす翻訳ペアを100件選んだ場合の、次の結果例を見てみましょう。
| 結果 | ペア数 |
|---|---|
| 意味を保持 | 72 |
| 意味が変化 | 8 |
| 評価完了・判定不能 | 10 |
| 評価未完了 | 10 |
選択したペアの90% で評価が完了し、80% で確定した判定が得られました。その80件のうち8件で変化が検出されたため、判定が確定した回答における問題検出率は10% となります。残りの20ペアについては、意味が保持されたとも、変化したとも結論付けられません。
これら三つの数値は、いずれも重要です。判定が確定した80件のうち72件で意味が保たれているため、判定が確定した回答における合格率は90% です。「90%が合格」とだけ報告すると、評価は完了したものの判定不能だった10件と、評価が完了しなかった10ペアが見えなくなります。また、問題検出率10%は、あくまで今回選んだ対象に今回の測定を適用した結果です。より広い範囲の誤り率として解釈するには、適切なサンプルと、誤検出や見逃しに関する根拠が必要です。
判断に影響し得る言語やコンテンツ種別ごとに、結果を分けて示します。率だけでなく、件数も示してください。判定が確定した対象が少ない言語は、安心感を与える全体の数値に埋もれさせず、まず調査する必要があります。繰り返し発生する問題の事例を残し、チームが実際に何を改善すべきかが伝わる報告にします。
変更後も意味のある比較を続ける #
基準とその設定を、比較に使った根拠とともに保存します。プロンプト、モデル、対象の選定ルール、原文に対する要件が変わった場合は、新しい定義を検証してから、その結果を以前の結果と連続したものとして扱います。
二つの測定を比較するには、保存しておいた同じテキストを両方の定義で評価します。二つの翻訳手法を比較するには、基準と関連する条件をそろえます。そうしなければ、スコアの変化が示しているのは、翻訳の改善ではなく、問いの変更やコンテンツの難易度低下かもしれません。
過去の評価を再実行する前に、比較用の記録を残す
Radarの過去データの評価では、選択した測定と期間の過去の回答が置き換えられます。使用する前に、比較に必要な以前の定義と結果を保存してください。再実行しても、実験の新旧両方の結果が残るわけではありません。
別の人が意図されたテキストを選び、根拠を用意し、各判定を説明し、報告された計算を再現できれば、その測定は使い始められます。チェックの実装には、イベント測定またはCLIによるローカル採点を使います。継続的な外部ワークフローでの収集と復旧については、パイプラインからの翻訳を測定するを参照してください。品質に関する指摘を検証するでは、次の段階として、報告された問題が実際の問題かどうかを判断する方法を詳しく説明しています。