AI評価者

Max PrilutskiyCEO 兼 共同創業者読了目安 2分

AI評価は、ローカライゼーションエンジンが生成した翻訳を自動でチェックする機能です。ダッシュボードでは測定と呼ばれ、Radar → 測定から利用できます。どちらの名称も同じものを指します。測定は、翻訳に関する1つの問いに対して、合格・不合格、または0〜100のスコアで答え、その理由を説明します。評価は翻訳の完了後に非同期で実行されるため、翻訳処理を妨げたり、訳文を変更したり、公開の可否を決めたりすることはありません。

仕組み#

完了したローカライゼーションはすべて、原文と訳文、それぞれのロケール、エンジン、リクエストのコンテキストを含むlocalization.completedイベントとしてRadarに記録されます。そのイベント種別を対象とする測定のうち、条件にイベントが一致したものが、それぞれ評価をキューに追加します。回答は、評価したイベントとともに保存されます。

エンジンによる翻訳には、別個の評価者リソースはありません。同じ測定を使って、GitHubリポジトリやZendeskヘルプセンターなど、接続先のソースから収集した翻訳の変更も確認できます。以下で説明する編集に関する測定は、これらの変更を根拠に評価します。

レーダー → 測定を開くと、組み込みタブが表示されます。独自の測定には、組織で作成した測定が表示されます。どちらの一覧でも、各測定が対象とするイベントの種類、値の型、言語、測定済みのイベント数、有効・無効の状態を確認できます。

組み込みの測定#

各組み込み測定の計算内容と、対象にできるイベント種別はLingo.devが定義します。実行するかどうか、どのイベントを対象にするかは、組織が決めます。

測定評価する内容実行対象
用語集準拠該当する用語集の用語のうち、翻訳に適用された割合完了したローカライゼーション
ルール準拠適用対象のルールのうち、翻訳が遵守した割合完了したローカライゼーション
MQMモデルが列挙した誤りから算出する0〜100のスコア完了したローカライゼーション
編集率人が翻訳を変更したかどうか翻訳の作成と更新
編集距離テキストの変更量を示す割合翻訳の作成と更新
編集パターン変更に含まれる編集の種類翻訳の作成と更新

有効にするには、Radar → 測定で対象の測定を開き、評価する言語、ソース言語、エンジン、サンプルを選択します。次に、有効をオンにして、変更を保存を選択します。組み込み測定は編集・削除できません。用語集準拠とルール遵守は、エンジンごとに有効にすることもできます。エンジンの評価を有効にするをご覧ください。

用語集準拠 #

エンジンが適用する用語集の用語が、翻訳に使われているかをチェックします。ターゲットロケールが一致し、用語のソーステキストが原文に含まれるものを選び、判定モデルが用語ごとに結果を返します。カスタム翻訳(例:「デプロイ」→「配備」)では自然な活用が認められますが、翻訳しない用語(例:「OAuth」)は変更せずに保持する必要があります。同じ用語のエントリが競合する場合は、いずれか1つに従っていれば適用済みとみなされます。

スコアは、返された結果のうち適用済みと判定されたものの割合です。原文に適用できる用語集の用語がない場合、回答は「該当なし」になります。

ルール準拠 #

ターゲットロケールに対してエンジンが適用する各ルールを、遵守、未遵守、該当なしのいずれかで個別に評価します。エンジンが3つのルールを適用する場合、判定モデルはそれぞれの理由を添えて3つの結果を返します。

以前、ルールは instructions と呼ばれていました

ダッシュボード、評価者タブの切り替えスイッチ、Radarでは、いずれもこれらをルールと呼んでいます。REST APIでは、引き続き/instructionsで個々のルールを公開しています。

スコアは、適用対象のルールのうち遵守されたルールの割合です。たとえば、製品名だけの翻訳に対する敬称のルールなど、内容に適用できないルールは除外されます。適用できるルールがない場合、スコアは付きません。

どちらのチェックも、翻訳の生成時にエンジンが使用した内容のスナップショットではなく、チェックの実行時点でエンジンに設定されている用語集の用語とルールを参照します。

MQM#

MQMは、翻訳の誤りを列挙するようモデルに求めます。採点は求めません。各誤りには、誤っている箇所の正確な語句、MQMの中核となる7つの評価軸(正確性、用語、言語慣習、文体、ロケールの慣習、読者への適切性、デザインとマークアップ)のいずれか、重大度、問題点を説明する1行が含まれます。イベントにエンジンが指定されている場合、モデルは、その言語に対するエンジンのブランドボイス、ルール、原文で使われている用語集の用語も参照します。

スコアは、この一覧をもとに計算します。指摘された語句が訳文に存在しない誤りは除外します。残った誤りには、中立は0、軽微は1、主要は5、重大は25の重みを付け、合計を原文100語あたりに正規化します。

text
max(0, 100 − 100 × summed error weights / source word count)

100は誤りがないことを意味します。評価軸ごとのスコアも同じ式で算出します。中国語、日本語、韓国語、タイ語など、スペースを使わずに書かれる文字体系では、1文字を1語として数えます。原文に語がない場合、回答は「該当なし」になります。

編集率、編集距離、編集パターン#

この3つの測定は、変更後の翻訳を文字列の直前のバージョンと比較します。Zendeskヘルプセンターの同期や、GitHub Appが翻訳をコミットするリポジトリ、CLIが翻訳をプッシュするリポジトリなど、Lingo.dev自体が翻訳を書き込む場合は、Lingo.devが書き込んだバージョンごとに1回、それに人が加えた変更に対して1回、回答を返します。

  • Lingo.devが書き込んだバージョンは「変更なし」と判定されます。編集率はfalse、編集距離は0です。
  • Lingo.devが書き込んだバージョンの直後に人が作成したバージョンは、Lingo.devのバージョンと比較されます。編集率true、変更の距離、編集パターンを返します。
  • 人によるその後の編集、Lingo.devのテキストへの差し戻し、空白以外はLingo.devのテキストと変わらない変更は、「該当なし」と判定されます。

したがって、各falseはLingo.devが書き込んだ翻訳1件を、各trueは人が変更した翻訳1件を表します。Lingo.devが書き込んだ翻訳100件のうち5件が変更された場合、編集率は5%です。

探索では、真偽値に平均を適用すると、その割合を直接確認できます。Lingo.devが生成した翻訳は、人が変更したものを合格、誰も変更していないものを不合格として、それぞれ一度だけ集計します。同じ翻訳への変更を重複して数えることはありません。変更は、対象の翻訳が生成された期間に計上されるため、直近の週の数値は、その週の翻訳が編集されるにつれて上昇することがあります。

編集率は、比較前に先頭と末尾の空白を削除し、内部の連続する空白を1つにまとめます。そのため、Save changesとSave changesは変更なしとみなされます。編集距離は、元のテキスト間のレーベンシュタイン距離(挿入、削除、置換)を、長いほうのテキストの長さで割り、100を掛けた値です。テキストが長すぎて比較できない場合、回答は「該当なし」になります。両方を合わせて見ると、頻繁に行われる小さな修正と、ときどき行われる書き直しを区別できます。編集パターンは、変更を、言葉遣い、語句の選択、用語、語順の変更、文法、句読点、追加、省略、誤訳、書式などのカテゴリに分類します。

この3つはいずれも、どちらの表現が優れているかを判定したり、作業にかかった時間を測定したりするものではありません。

エンジンの評価を有効にする #

エンジンのAI評価者タブには、二つのセクションがあります。

自動評価には、用語集準拠とルール遵守のスイッチがあります。オンにすると、対応する組み込み測定にエンジンが追加され、測定が有効になります。オフにすると、その測定の対象からエンジンが外れます。測定の言語とサンプルの設定は変わりません。組み込み測定がすべてのエンジンを対象としている場合、各エンジンのスイッチはオンで表示されます。1つのエンジンをオフにすると、その時点で存在する残りのエンジンの一覧が保存されます。そのため、後から作成されたエンジンは、追加されるまで評価されません。評価が従量課金の対象となるプランでは、このセクションに実行ごとに課金と料金が表示されます。

提案には、エンジンの提案のスイッチがあります。この機能は、カスタム測定の低い評価結果を生成するのではなく、その結果に基づいて動作します。

MQMとカスタム測定は、このタブにはありません。MQMはRadarで有効にし、カスタム測定の対象エンジンは、その測定の条件で選択してください。

カスタム測定 #

カスタム測定では、独自の品質要件をチェックできる形で明確に定義します。たとえば、限定条件を維持する、表現のトーンに関する要件に従う、2つの製品概念を区別するといった要件です。カスタム測定は組織に属します。

1

プロンプトを書く

Radar → 測定で新しい測定を選択し、判定モデルが適用する基準をプロンプトとして入力します。指示の書き方をご覧ください。

2

名前と回答形式を決める

識別しやすい名前を付けます。値では、二択の判定には合格または不合格を、中間の値を定義できる尺度には0〜100を選択します。判定モデルが「該当なし」と回答できるようにする場合は、該当なしを許可をオンのままにします。

3

トリガーと言語を選ぶ

フォームのトリガーには、初期設定で完了したローカライゼーションが選ばれており、エンジンが生成した翻訳を評価します。言語を選択しない場合は、すべてのターゲット言語が対象になります。

4

作成してから対象を絞り込む

測定を作成を選択すると、その条件が有効な状態で測定が保存されます。測定の一般タブでは、ソース言語、エンジン、サンプルで条件を絞り込めます。また、実行対象のイベントを選択から、ほかのイベントタイプを追加できます。接続済みのどの連携からも実行対象のイベントタイプが送信されていない場合は、実行対象にその旨と、設定 → 連携へのリンクが表示されます。

合格または不合格の回答は、合格率として集計されます。75%は、回答が得られた翻訳4件のうち3件が合格したことを意味します。0〜100の回答は、平均値として集計されます。パーセンテージはプロンプトで定義した尺度上の値であり、翻訳が正しい確率ではありません。

評価する翻訳を選ぶ#

各条件と各組み込み測定の設定では、対応する種別のイベントを次の項目で絞り込みます。

選択項目選択対象
言語ターゲットロケール。すべての言語を選ぶと、すべてが対象になります
ソース言語ソースロケール。すべてのソース言語を選ぶと、すべてが対象になります
エンジン評価対象の翻訳を生成するエンジン。すべてのエンジンには、後から作成されたエンジンも含まれます
サンプルすべてのイベント、またはほかの選択条件を満たすイベントの50、25、20、10、5、1%のいずれか

変更を保存を選択して適用します。ロケールの選択は、文字列の完全一致ではなく、ロケールの階層に従います。frを選ぶとfr-CAも対象になりますが、fr-CAを選んでもfr-FRは対象になりません。エンジンなしで記録されたリクエストは、エンジンを限定する条件には一致しません。

サンプリングはイベントと測定の組み合わせごとに決まります。そのため、同じイベントを再評価しても、同じサンプル設定であれば抽出されるかどうかは変わりません。イベント数が少ない場合、実際に抽出される割合が設定値と異なることがあります。

選択した種類のイベントがセレクターの条件を満たさない場合も、「該当なし」という回答が記録されます。理由は「条件を満たしていません」で始まり、セレクター名も示されます。この回答には課金されません。品質を算出する際の分母からは除外してください。ただし、翻訳量のうちどれだけを評価したかを説明する際には、この回答も考慮してください。

有効では、測定のすべての条件をまとめてオンまたはオフにできます。オフにすると以降の評価は停止しますが、すでにキューに入っている処理は完了する場合があります。

指示の書き方 #

プロンプトはカスタム測定の要です。何を確認すべきかを判定モデルに正確に伝えるため、具体的で検証可能な基準として記述してください。

良い指示#

合格または不合格:

text
Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

0から100:

text
Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

良い指示の条件#

  • 具体的な基準 - 合格と不合格の意味、または0と100が表すものを明確に定義します
  • 確認可能な結果 - 判定モデルが意図を推測せず、テキストを読んで判断できるようにします
  • 測定ごとに一つの観点 - 複数の観点にわたる品質チェックは、別々の測定に分けます
  • 判定を控える場合 - 該当なしを許可がオンの場合は、基準が適用されない状況を明記します。これにより、対象外の翻訳と、判断材料が不足している翻訳を区別できます

新しい測定の回答を多くの翻訳の評価に使う前に、内容を確認できる翻訳でテストしてください。既知の誤りがある翻訳と、許容できる言い換えの両方で試しましょう。

該当なしの回答#

該当なしを許可がオンの場合、判定モデルは判定結果やスコアの代わりに「該当なし」と回答できます。たとえば、改まった呼びかけとくだけた呼びかけの区別がない言語で、改まった呼びかけ方を確認する場合です。「該当なし」の回答は平均や合格率から除外されるため、スコアを下げることも、引き上げることもありません。オフの場合、判定モデルは合格、不合格、またはスコアを必ず返します。条件を満たさないイベントには、この設定にかかわらず、判定モデルに問い合わせずに「該当なし」が記録されます。

回答を確認する#

各回答には理由が添えられ、根拠がある場合には修正案も示されます。

  • レーダー → ログ → 測定には、すべての回答が一覧表示されます。測定と値で絞り込み、個別の回答を開くと、値、判断理由、提案、評価者のリクエストを確認できます。
  • エンジンのログタブには、翻訳リクエストごとにレビュー列があります。この列には、各カスタム測定の最新の回答を、合格は100、不合格は0として平均した値が表示されます。「該当なし」は集計から除外されます。すべての回答が「該当なし」の場合は該当なし、回答がない場合は未レビューと表示されます。用語集遵守、ルール遵守、MQMはこの列の集計には含まれません。
  • レポートでは、レーダーの概要と探索画面で回答の推移をグラフで確認できます。

エンジンの翻訳に対するカスタム測定の回答が不合格または低スコアの場合、エンジンへの提案が生成されることもあります。回答そのものによって翻訳が変更されることはありません。

既存の翻訳を評価する#

今日有効にした測定は、新たに発生するイベントを対象とします。すでに収集されたイベントにも適用するには、測定のバックフィルタブを開き、期間を選択してください。上部の測定済みには、記録された全期間でその測定が回答を出したイベント数が、全体の合計と発生元ごとに表示されます。たとえば、リポジトリでは「7,600件中1,180件」のように表示されます。この数値は、期間を変更しても変わりません。タブの日付の下には、選択した期間のイベント数が、ソース別(各GitHubリポジトリ、Zendeskヘルプセンター、Crowdinプロジェクト、Lingo.dev)と、測定の有効な条件が対象とするイベントの種類別に表示されます。これにより、バックフィルで読み込む対象を確認できます。バックフィルでは、まだ回答のないイベントだけを測定するか、選択した期間のイベントを再測定するかを選べます。再測定すると、その期間の以前の回答が置き換えられます。比較に必要な定義と結果は、再測定する前に保存してください。

レビューモデル#

評価モデルは選択できません。用語集遵守、ルール遵守、MQM、編集パターン、カスタム測定の判定には、プラットフォームが指定したモデルが使われます。このモデルは、エンジンが翻訳に使うモデルとは別に設定されます。編集率と編集距離は、モデルを使わずに算出されます。

測定を変更または削除する#

カスタム測定の一般タブで、プロンプト、名前、値の種類、該当なしを許可の設定を条件とあわせて編集し、変更を保存を選択します。基準を変更すると、それ以降の回答が意味する内容も変わります。比較対象にする結果とともに、以前の定義も保存しておいてください。

カスタム測定を削除すると、その定義と条件が削除されます。記録済みの回答は残り、不明な測定と表示されますが、エンジンのレビュー列の集計対象からは外れます。定義を残したまま以降の評価を停止するには、削除せずにオフにしてください。

MCPによる測定の管理#

Lingo.dev MCP serverを使用すると、コーディング用のAIアシスタントで、測定の一覧表示、作成、更新、条件の設定、オンとオフの切り替え、回答の確認ができます。

text
"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."
text
"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

次のステップ#