組み込みの測定
組み込みの品質チェックと編集チェックについて、入力、アルゴリズム、回答の尺度、根拠が不足する場合の動作を解説します。
組み込みの測定は、翻訳や編集に関する具体的な問いに答えます。編集率が調べるのは、2つのテキストに違いがあるかどうか。用語集遵守が調べるのは、関連する用語が使われているかどうかです。これらの値は、それぞれが持つ意味を踏まえて組み合わせることで役立ちます。すべてに共通する品質尺度ではありません。
これらのチェックは測定で有効にできます。用語集遵守とルール遵守は、Lingo.devの翻訳をレビューするで説明しているとおり、各エンジンのレビュアータブでも有効にできます。このリファレンスでは、各測定の計算内容と、その回答を裏付ける根拠について説明します。
MQM #
MQMは、翻訳の誤りだけを列挙するようモデルに求めます。スコアを求めることはありません。誤りごとに、問題のある語句そのもの、MQMコアの7つの評価観点のいずれか(正確性、用語、言語上の慣習、スタイル、ロケールの慣習、対象読者への適切さ、デザインとマークアップ)、重大度(中立、軽微、主要、重大)、問題点を説明する1行を返します。イベントにローカライゼーションエンジンが指定されている場合は、リクエストのコンテキストとともに、そのエンジンの現在の指針もモデルに渡されます。指針には、その言語のブランドボイス、ルール、原文で使われている用語集の用語が含まれます。
MQMは翻訳の変更も評価します。誰が行ったかにかかわらず、訳文の作成と更新がすべて対象です。ZendeskとGitHubでは、後述の編集率の定義に基づきLingo.devが書き込んだと判定されたバージョンを、翻訳の生成時に使われたブランドボイス、ルール、用語集の用語に照らして評価します。回答には、その翻訳を生成したジョブも示されます。人による編集、元に戻す操作、別のツールによる翻訳、Crowdinでの変更など、それ以外のバージョンは、どのエンジンの指針も使わずに評価します。両者は回答のisLingoRecordフィールドで区別できます。それ以外のバージョンにはfalseが、完了したローカライゼーションを含む残りのすべての回答にはtrueが入るため、探索画面でLingo.devの翻訳とそれ以外を比較できます。翻訳の変更にはエンジンが指定されないため、対象をエンジンに限定したMQM条件では、該当なしが返されます。
スコアは、この誤りの一覧から計算します。指摘された語句が訳文に存在しない誤りは除外します。残った誤りに、中立は0、軽微は1、主要は5、重大は25の重みを付け、合計を原文100語あたりに正規化します。
max(0, 100 − 100 × summed error weights / source word count)100は誤りがないことを意味します。評価観点ごとのスコアも同じ式で算出します。原文の語数は、キーではなくテキストの値を数えます。中国語、日本語、韓国語、タイ語など、空白で単語を区切らない文字体系では、1文字を1語として数えます。原文の語数がゼロの場合は、モデルに問い合わせず、該当なしと回答します。
MQMは、完了したローカライゼーションのイベントと、訳文の作成・更新時に実行されます。用語集遵守とルール遵守は、完了したローカライゼーションのイベントを対象に設定されます。編集率、編集距離、編集パターンは、訳文の作成・更新時に実行されます。組み込みの測定で利用できるイベントの種類はプラットフォーム側で定義されているため、有効にする際は、その測定の現在の設定を確認してください。
編集率 #
編集率は、変更後の訳文を、その文字列の直前のバージョンと比較します。直前のバージョンには、同じ文字列とロケールに対する、それ以前で最も新しい訳文の作成または更新を使います。記録がない場合は、イベントに含まれる変更前のテキストを使います。比較する前に、先頭と末尾の空白を削除し、文中の連続する空白を1つの空白に置き換えます。以前のバージョンがない文字列は、変更なしとして扱います。
Lingo.devが翻訳を直接書き込む環境では、3つの編集測定が、Lingo.devの書き込んだ各バージョンと、人がそれに加えた変更について回答します。Lingo.devは、引き渡した翻訳をすべて記録します。対象は、同期によってZendeskに書き込む内容やGitHubにコミットする内容、およびAPI、CLI、CIが返す内容です。コミットやZendeskが付与した時刻からLingo.dev自身の書き込みと特定できる場合、そのバージョンはLingo.devによるものと見なされます。また、CLIで生成されたものなど、そのバージョンより前にLingo.devが同じ文字列について最後に引き渡した翻訳を含む場合も同様です。各翻訳は、その翻訳を含む最初のバージョンで1回だけ数えます。人が変更した後にその翻訳に戻したバージョンは、その人による復元として扱います。
この環境では、Lingo.devが書き込んだバージョンは常に変更なしと回答されます。編集率はfalse、編集距離は0、編集パターンは該当なしになります。Lingo.devが書き込んだバージョンの直後に人が作成したバージョンは、その直前のバージョンと比較されます。編集率はtrueとなり、変更の距離と編集パターンも返されます。空白を除いてLingo.devのテキストがそのまま保たれている場合、その変更は該当なしになります(「人がLingo.devのテキストをそのまま保持しました」)。Lingo.devが書き込んでいないバージョンからの変更や、以前のバージョンの記録がない場合も同様です(「直前のバージョンはLingo.devが書き込んだものではありません」)。これには、人による追加の編集や、Lingo.devのテキストに戻す操作も含まれます。したがって、各falseはLingo.devが書き込んだ翻訳1件を、各trueは人が変更した翻訳1件を表します。編集率は、falseの回答数に対するtrueの回答数の割合です。つまり、Lingo.devが書き込んだ100件の翻訳のうち5件が変更されれば、5%になります。Lingo.devが書き込んだ翻訳1件あたりの平均編集距離も同様に、変更の距離の合計をLingo.devによるバージョン数で割って求めます。
Crowdinなどの他のソースでは、Lingo.devは翻訳を書き込まないため、どちらを誰が作成したかにかかわらず、変更後のテキストを直前のバージョンと比較します。
| 回答 | 意味 |
|---|---|
true | 正規化後のテキストが異なります。ZendeskとGitHubでは、人がLingo.devのバージョンを変更したことを示します。 |
false | 正規化後のテキストが一致するか、ZendeskとGitHub以外では、その文字列に以前のバージョンがありません。ZendeskとGitHubでは、Lingo.devがこのバージョンを書き込んだことを示します。 |
| 該当なし | ZendeskとGitHubで、人がLingo.devのテキストをそのまま保持したか、直前のバージョンがLingo.devによる書き込みではありません。 |
たとえば、Save changesとSave changesは変更なし、Save changesとApply changesは編集ありと判定されます。どちらの結果も、表現の良し悪しを判断するものではありません。
下書きが存在していても訳文フィールドがない場合、実装上は下書きと空の訳文を比較します。人による編集が完了したものとして扱う前に、イベントの根拠を確認してください。データ全体を集計する際は、利用可能な下書きと訳文の比較数に対する、編集ありの比較数を報告し、比較できなかったものも把握できるようにしてください。
編集距離 #
編集距離は、正規化前の元のテキストでレーベンシュタイン距離を計算します。これは、一方のテキストを他方に変えるために必要な挿入、削除、置換の回数です。この距離を長い方のテキストの長さで割り、100を掛けます。
0は、テキストが同一であることを意味します。値が大きいほど、テキストの変更量が多いことを示します。両方とも空の文字列である場合や、以前のバージョンがない場合も0になります。訳文が存在しない場合は、編集率と同様に空として扱います。
実装上は、単語や利用者が見た目で認識する文字ではなく、UTF-16のコード単位を比較します。2つのテキストで共通する先頭部分と末尾部分は比較から省きます。それでも差分部分の文字の組み合わせが約32億組を超える場合、たとえば互いに無関係な57,000文字のテキスト同士では、「テキストが長すぎて比較できません」という理由で該当なしになります。編集率では変更なしと判定される組み合わせでも、空白が編集距離に影響することがあります。また、同じ1単位の変更でも、長い文字列より短い文字列の方が、割合への影響は大きくなります。
2つの編集測定を併用すると、小さな変更が頻繁に行われているのか、大幅な書き直しが時折行われているのかを区別できます。ZendeskとGitHub以外では、まず比較対象の組み合わせを確認してください。直前のバージョンは、引き渡された翻訳ではなく、その後に編集されたものである可能性があります。どちらの測定も、修正された誤り、費やした時間、品質の向上を立証するものではありません。
距離を集計する際は、計算方法を明示してください。組み合わせごとの割合を平均すると、各組み合わせの重みは等しくなります。正規化前の距離の合計を比較対象の長さの合計で割ると、長いテキストの重みが大きくなります。個々のイベントの回答によって、どちらの式を使うかが決まるわけではありません。
用語集遵守 #
用語集遵守は、評価の実行時点でローカライゼーションエンジンに関連付けられている用語と、原文および訳文を照合します。原文、訳文、ローカライゼーションエンジンの識別情報が必要です。関連付けられた用語のうち、翻訳先ロケールが一致し、原文側の語句が原文に含まれるものを選びます。照合には、大文字と小文字を区別しない部分文字列検索を使います。
判定モデルは、渡された用語を1つずつ評価します。モデルへの指示では、指定訳語の自然な文法上の語形変化を認める一方、翻訳しない用語は変更せずに保持することを求めています。また、コンテキストのヒントが明らかに当てはまらない場合は標準的な訳し方を認め、同じ用語に矛盾する項目が複数ある場合は、そのいずれかを受け入れます。そのため、スコアが高くても、矛盾する用語集の定義を運用方針として適切だと判断することはできません。
スコアは次の式で求めます。
returned findings marked applied / all returned term findings × 100ここで数えるのは返された判定結果であり、用語のすべての出現箇所や、組織の用語集にあるすべての項目ではありません。適用されなかった用語は説明に反映されます。判定モデルが結果を1件も返さなかった場合、回答は完了していてもスコアは確定しません。
必須フィールドがない、対応するローカライゼーションエンジンや関連付けられた用語がない、原文から用語が選ばれなかったといった場合には、判定モデルの実行前に該当なしとなることがあります。理由を確認してください。本当に無関係な用語には判定は不要です。一方、本来は用語に関する根拠があるはずのメッセージでは、根拠の不足が残っています。
この測定は、リアルタイムのイベントでも過去データの補完処理でも、現在の指針を読み取ります。生成時に使われた用語集を再現するものではありません。リクエストには原文のバッチとモデルの試行が表示されますが、プロンプトや用語集の完全なスナップショットは表示されません。過去のイベントの評価を比較する前に、送信したコンテキストと関連する用語の定義を保存してください。そのうえで、承認済みの用語変更には用語集を使ってください。
ルール遵守 #
ルール遵守は、原文、訳文、ローカライゼーションエンジンの識別情報、および現在関連付けられているルールのうち翻訳先ロケールに適用されるものを使います。判定モデルは、渡されたルールごとに、遵守、未遵守、またはルールが適用されない場合はヌルを返します。
スコアは次の式で求めます。
returned findings marked followed / returned non-null rule findings × 100判定がヌルのルールは計算から除外します。返された判定がすべてヌルの場合、判定モデルは総合スコアなしで処理を完了することがあります。一方、原文、訳文、ローカライゼーションエンジンの根拠が不足している場合は、判定モデル自体を実行できないことがあります。どちらも該当なしと表示される可能性があるため、理由と、確認できる実行の根拠を調べてください。
翻訳を変更する前に、遵守されなかったルールと、そのルールが指す語句を確認してください。曖昧なルールや矛盾するルールは、ルールで内容を明確にする必要があるかもしれません。用語集遵守と同様に、過去のイベントの評価にも、生成時のスナップショットではなく、現在関連付けられている指針を使います。
編集パターン #
編集パターン分析では、下書きから訳文への変更をモデルが分類します。1つの比較に複数のカテゴリが付くこともあります。
| ラベル | 変更内容 |
|---|---|
register | 文体の改まり具合や丁寧さ。 |
word_choice | 意味を変えない言い換え。 |
terminology | 製品や専門分野の用語。 |
reordering | 語順や節の順序。 |
grammar | 文法上の一致、格、時制、その他の文法。 |
punctuation | 句読点や空白。 |
addition | 下書きで抜けていた意味の追加。 |
omission | 下書きで余分に加えられていた意味の削除。 |
mistranslation | 意味の解釈の変更。 |
formatting | プレースホルダー、マークアップ、大文字・小文字、数値。 |
分類モデルは、以前のバージョンがない文字列や、空白の正規化後に一致するテキストを処理対象から外します。ラベルは、推定される変更の種類を示すものであり、独立した検証で確認された不具合や時間の削減を示すものではありません。
現在、結果一覧と詳細の読み取り処理は、真偽値と数値の回答だけを対象にしています。詳細のデータ仕様には構造化データ用のanswerフィールドがありますが、これらの処理では、保存されているJSON形式の編集パターン行は返されません。これらの操作で分類済みデータをエクスポートできると考えるのではなく、参照可能な編集の比較と、実際に確認したテキストを使ってください。
使用量と解釈 #
編集率と編集距離は、LLMの費用をかけずに回答を計算します。ただし、正常に完了した測定処理の使用量は別途計上されるため、モデル費用がゼロでも、測定が無料とは限りません。使用量の計上範囲については費用を、ヌルの回答と網羅率については結果を参照してください。