測定
収集・生成された翻訳イベントに対するチェックを選び、各チェックを実行するイベントの条件を設定します。
測定とは、対象の翻訳アクティビティが届いたときに実行される、あらかじめ定義されたチェックです。たとえば、Crowdinやリポジトリでの翻訳の変更をきっかけに編集内容を比較したり、Lingo.devでのローカライズの完了をきっかけに用語をチェックしたりできます。イベントが判断材料を提供し、測定が何を確かめるかを定めます。
他のシステムから収集した翻訳も、ローカライゼーションエンジンが生成した翻訳も、同じリソースで扱います。Lingo.devの出力の評価は、完了したローカライズを対象に実行する測定です。この使い方については、Lingo.devの翻訳を評価するで説明しています。
レーダー → 測定で、組み込みのチェックを選ぶか、組織が所有するカスタム定義を作成します。ページを開くと組み込みタブが表示され、独自の測定には組織が作成した測定が並びます。それぞれに、実行対象のイベントの種類、値の型、言語、測定済みのイベント数、有効かどうかが表示されます。現在のAPIでは、定義や条件の読み取り・変更、過去のイベントの評価の開始には、組織への所属が必要です。レポートの利用権限が制御するのはレポートであり、測定ではありません。
組み込みのチェックを有効にする #
組み込みの測定を開き、言語、原文の言語、ローカライゼーションエンジン、サンプルを指定して、チェックするイベントを選びます。有効をオンにし、変更を保存を選択します。ページには、実行対象のイベントの種類が表示されます。対象にできるイベントの種類とチェックの実装はLingo.devが定めます。組織側では、チェックを実行するかどうかと、どのイベントを対象にするかを管理します。
用語集遵守とルール遵守は、ローカライゼーションエンジンのレビュアータブにある自動評価でも、エンジンごとに同じ設定ができます。
何を確かめたいかに応じて、測定を選びます。
| 問い | 測定 |
|---|---|
| カテゴリと重大度に基づく所定の評価基準では、どのような誤りが見つかるか? | MQM |
| 訳文は記録された下書きから変更されたか? | 編集率 |
| テキストはどの程度変更されたか? | 編集距離 |
| 翻訳に適切な用語が使われているか? | 用語集遵守 |
| 適用される指示に従っているか? | ルール遵守 |
| どのような種類の編集が行われたか? | 編集パターン。結果へのアクセスには、組み込み測定のリファレンスに記載の制限があります。 |
組み込み測定のリファレンスでは、各アルゴリズムの入力、尺度、結果の解釈を説明しています。編集率の回答が真であれば、テキストが変更されたことを意味します。品質全般のチェックに合格したという意味ではありません。
コンテンツ固有の要件を追加する #
製品の訴求内容に付随する条件が保持されているかなど、確認したいことがコンテンツによって異なる場合は、カスタム測定を作成します。プロンプト、名前、値の型、トリガー、言語を指定してください。作成フォームで定義を保存すると、選択したイベント条件が有効になります。
まずは、判断材料を確認できるアクティビティから始めましょう。最初のイベントが届いたら回答を開き、その判断理由を原文と訳文に照らして確認します。より大きなデータ群に適用する前に、既知の誤りだけでなく、許容できる言い換えもテストしてください。有効な定義を保存すれば、チェックの設定が整ったことを確認できます。一方、意図した問いに対し、その用途に十分な信頼性で答えられるかどうかは、調整と検証によって確かめます。
イベントの選択範囲 #
カスタム測定には、実行対象のイベントの種類ごとに個別の条件があります。実行対象のイベントを選択から条件を追加できます。組み込みの測定では、対象にできるイベントの種類が実行対象に表示されます。これらの種類は変更できず、すべてに共通の設定が適用されます。接続済みの連携先からもLingo.dev自体からも対象の種類のイベントが送信されていない場合、全般タブの実行対象にその旨が表示されます。そのイベントを送信できる連携先の名前と、設定 → 連携へのリンクも表示されます。イベントの種類には、原文と訳文の作成・更新・削除、提案の作成・更新・削除・承認・却下、ローカライズの開始・完了があります。
各条件または組み込み測定の設定では、該当する種類のイベントを次の基準で絞り込みます。
| 選択項目 | 絞り込みの基準 |
|---|---|
| 言語 | イベントの翻訳先ロケール。すべての言語を選ぶと、すべての翻訳先ロケールが対象になります。 |
| 原文の言語 | イベントの翻訳元ロケール。すべての原文言語を選ぶと、すべての翻訳元ロケールが対象になります。 |
| エンジン | 翻訳を生成したローカライゼーションエンジン。すべてのエンジンには、後から追加されたエンジンも含まれます。 |
| サンプル | すべてのイベント、または他の選択条件を満たすイベントの50%から1%の範囲で指定した割合。 |
ロケールの選択は、文字列の完全一致ではなく、ロケールの階層に従います。frを含むリストはfrとfr-CAを選択し、fr-CAは単にfrと指定されたイベントも選択します。fr-CAはfr-FRを選択しません。APIでは、リストが空か未指定の場合は制限がなく、*は任意のロケールに一致します。
エンジンと原文の言語による選択には、対応するフィールドがイベントに含まれている必要があります。Lingo.devのローカライズイベントには、エンジンと翻訳元・翻訳先の両ロケールが含まれます。Crowdin、GitHub、Zendeskのイベントにはロケールは含まれますが、エンジンは含まれないため、エンジンを限定する条件では選択されません。サンプリングの結果は、毎回抽選し直すのではなく、イベントと測定の組み合わせごとに決まります。同じイベントを同じサンプル設定で再評価しても、対象になるかどうかは変わりません。
選択した種類のイベントが選択条件を満たさない場合も、「該当なし」という回答が生成されます。判断理由は「条件を満たしていません」で始まり、満たさなかった選択項目が示されます。この回答は課金対象にはならず、バックフィルタブでは測定済みとして数えられます。母集団の集計には含めつつ、その評価基準における品質を算出する際の分母からは除外してください。
イベントの選択と判断材料の有無は別です。開始イベントは、完了した訳文がなくても、設定された種類に一致することがあります。用語集チェックでは、ロケールが選択条件に一致しても、適用される用語が見つからないことがあります。回答がない場合や「該当なし」の場合は、条件とペイロードの両方を確認してください。
過去の結果の意味を保ち、今後のチェックを変更する #
カスタム定義の全般タブで、名前、プロンプト、値の型、該当なしを許可とイベント条件を編集し、変更を保存を選択します。評価基準を変更する前に、以前の定義を、比較に必要な結果とともに残してください。問いが変われば、翻訳自体に変更がなくても、結果の傾向が変わることがあります。
有効では、測定のすべての条件をまとめてオンまたはオフにします。変更は保存時に反映されます。APIでは、各カスタム条件にも個別の有効フラグがあります。測定をオフにすると、それ以降のイベントの選択は停止しますが、すでにキューに入っている処理は完了することがあります。カスタム定義を削除すると、その定義と条件が削除されます。既存の回答は残りますが、リンク先の定義がない状態で不明な測定と表示されます。組み込みの測定をカスタム定義として編集・削除することはできません。
収集済みのアクティビティには、測定のバックフィルタブにある過去のイベントの評価を使用します。まだ回答のないイベントだけを測定することも、選択した期間内の回答を置き換えることもできます。
測定は非同期で実行されます。回答は確認の際の判断材料となりますが、翻訳を編集したり、公開を止めたりすることはありません。翻訳の工程や受け入れの設定は、Studioで別途行ってください。