カスタム測定

コンテンツ固有のチェックを作成し、回答形式と対象イベントを選んで、意図した変更を検出できるかテストします。

カスタム測定では、コンテンツの要件の一つを、テストできる形で明確に定義します。たとえば、翻訳が限定条件を維持しているか、指定された文体の要件に沿っているか、二つの製品概念を区別しているかを確認できます。プロンプトでは、どの違いが重要で、どの違いは許容できるのかを評価モデルに伝えます。

このページでは、レーダー → 測定で測定を作成する手順を説明します。ローカライゼーションエンジンが生成する翻訳をレビューするには、トリガーにlocalization.completedを選択します。エンジンの選択方法と回答の表示場所については、Lingo.devの翻訳をレビューするを参照してください。

要件を比較の形で記述する #

原文に、ある機能が承認後に利用可能になる場合があると書かれているとします。翻訳では、機能や承認を表す語が残っていても、可能性が確約に変わってしまうことがあります。役立つ測定にするには、単に用語が一致しているかを見るのではなく、それらの関係を確認する必要があります。

この要件を真偽値で判定するプロンプトは、次のように記述できます。

プロンプトの例:確実性と条件を維持する

原文と訳文の記述を比較してください。訳文が、原文の確実性や義務の度合い、条件、およびそれらの関係を維持している場合は、真を返してください。表現や文構造の自然な変更は許容してください。

可能性が確約に変わっている場合、義務が変わっている場合、条件が削除されている場合、または条件が誤った記述に結び付けられている場合は、偽を返してください。説明には原文と訳文の該当箇所を示し、根拠に基づいて修正できる場合は修正案を提示してください。

テキストに該当する記述がない場合や、得られた根拠だけでは比較できない場合は、ヌルを返してください。どちらに当たるかを説明し、不足している根拠があれば示してください。

このプロンプトでは、回答に異議を唱える根拠が明確になるよう、問いの範囲を絞っています。チームの品質基準全体を評価モデルに考案させるものではありません。

測定を作成する #

  1. レーダー → 測定で新しい測定の作成を開始し、プロンプトを入力します。
  2. 確実性と条件の維持など、内容がわかる名前を付けます。
  3. 値で、真偽値による回答には合格または不合格を選択します。中間値の意味を定義できる数値尺度を使う場合は、0から100を選択します。
  4. プロンプトの例のように、評価モデルが「該当なし」と回答できるようにする場合は、該当なしを許可をオンのままにします。オフにすると、評価モデルは必ず合格、不合格、またはスコアを返します。
  5. トリガーと言語を選択します。フォームでは、初期状態でローカライゼーションの完了が選択されています。判定に使う根拠が別のイベント種別から届く場合は、変更してください。言語を選択しない場合は、すべての翻訳先ロケールが対象になります。
  6. 測定を作成を選択します。選択したイベント条件が有効な状態で、定義が保存されます。一般タブでは、原文の言語、エンジン、サンプルでその条件を絞り込めます。また、イベントを選択で別のイベント種別を追加できます。

判定には、プラットフォームが管理する評価モデルが使われます。測定のプロンプトで、生成モデルを選択したり、ローカライゼーションエンジンの指針を変更したり、コンテンツのアップロード経路を追加したりすることはできません。判定に使う根拠を提供するには、対応する取り込み方法を設定してください。

回答の仕様を理解する #

回答の種類返される判定
boolpass:真、偽、またはヌル。
scorescore:0から100までの有限値、またはヌル。

どちらの種類にも、ヌルを許容するreasoningとsuggestionが含まれます。ヌルの判定を返せるのは、該当なしを許可がオンの場合だけです。ヌルは、評価モデルが求められた判定を下せなかったことを意味します。その理由として、該当する内容がないこと、不確実性、根拠の不足などが示される場合があります。条件の選択基準を満たさないイベントは、この設定にかかわらず、評価モデルに問い合わせずに「該当なし」と表示されます。パーセンテージは、定義した尺度上の値であり、そのまま翻訳が正しい確率を表すわけではありません。

結果の履歴では、真偽値またはスコアがvalue、valueKind、notApplicableで表示されます。数値のゼロが何を意味するか判断する前に、「該当なし」の表示を確認してください。この表示方法と、確認できる評価モデルの判定過程については、結果で説明しています。

プロンプトが意図どおりに区別できるかテストする #

条件を保存したら、対応するテストイベントを少数生成するか、範囲を限定した履歴評価で既存のイベントを評価します。既知の誤りと許容できる翻訳の両方を含めてください。たとえば、確約の内容が変わった例、条件が削除された例、無関係なラベル、原文が欠けている例、意味を維持した自然な言い換えなどです。

実際のテキストと回答を照らし合わせて確認します。許容できる言い換えが問題として検出された場合は、どの指示が誤検出につながったのかを調べます。条件の削除を見逃す場合は、要件をさらに明確にし、プロンプトの修正に使っていない例でテストします。初期設定後の調整とレポートについては、測定設計ガイドで詳しく説明しています。

定義と対象範囲を管理する #

カスタム測定は組織が所有します。プロンプト、名前、値の種類、該当なしを許可は、一般タブで編集できます。条件では個別のイベント種別を選択し、言語、原文の言語、エンジン、サンプルで対象を絞り込みます。言語の選択はロケールの階層に従います。frを選択するとfr-CAも選択されますが、fr-CAを選択してもfr-FRは選択されません。イベントの選択を参照してください。

不合格の基準を変更する前に、それまでの定義と役立つ結果を保存してください。履歴評価は現在の定義を使用し、同じ期間を再測定すると、その期間内の回答を置き換えます。そのため、基準を比較するために変更前後の回答を両方保持することはできません。定義を削除すると、以前に記録された値は残りますが、それに対応する定義は失われます。今後のチェックを停止することが目的なら、測定をオフにするほうが影響を限定できます。