Lingo.devの翻訳を評価する

ローカライゼーションエンジンが生成した翻訳に測定を実行し、対象のエンジン、言語、サンプリングを設定して、各回答をリクエストと並べて確認します。

Lingo.devが生成した翻訳は、収集したアクティビティと同じ測定で検証できます。ローカライゼーションが完了するたびに、Radarにlocalization.completedイベントが記録されます。そのイベント種別に対して実行される各測定が、出力についての問いに回答します。これらの回答を使えば、再生成を試さずに、生成された翻訳の内容を詳しく把握できます。

Lingo.devのリクエスト専用の評価リソースはありません。評価には、Radar → 測定にある測定を使用します。対象のリクエストを絞り込むローカライゼーションエンジン、言語ペア、サンプリングは、測定のlocalization.completed条件で設定します。回答は、検証したイベントとともに表示されます。

エンジンの自動評価を有効にする #

ローカライゼーションエンジンの評価機能タブを開きます。自動評価には、エンジンの用語集で指定された用語を確認する用語集遵守と、ルールセットに含まれるルールを確認するルール遵守のスイッチがあります。スイッチをオンにすると、対応する組み込み測定にエンジンが追加され、測定も有効になります。オフにすると、そのエンジンが対象から外れます。測定の言語とサンプルの設定は変わりません。

組み込み測定がすべてのエンジンを対象としている場合、各エンジンのスイッチはオンになります。いずれかのエンジンをオフにすると、その時点で存在するほかのエンジンの一覧が保存されます。そのため、後から作成したエンジンは、対象に追加するまで評価されません。保存された対象範囲は、Radarの組み込み測定にあるエンジンセレクターで確認してください。

このタブには、MQMとカスタム測定は表示されません。MQMはRadarで有効にし、カスタム測定の対象エンジンは、その測定の条件で選択してください。評価が従量課金となるプランでは、自動評価に実行ごとに課金と単価が表示されます。

生成された翻訳の評価基準を記述する #

カスタム測定を作成し、トリガーにlocalization.completedを選択します。名前とプロンプトを入力し、合格または不合格か0~100を選択します。それぞれの回答が何を意味するかを定義してください。条件や制限を保持する、といった要件には真偽値が適しています。達成度をパーセントで示す場合は、部分的な達成をどう評価するか、明確な尺度が必要です。

該当なしを許可がオンの場合は、評価モデルが判定を控えるべき状況と、その回答の理由をどう説明するかを定義してください。要件自体が翻訳に当てはまらない場合と、要件は当てはまるものの翻訳に判断材料が欠けている場合とでは、どちらも確定的な判定が得られなくても、必要な対応が異なります。

たとえば、原文の「5営業日以内にお届けします」という約束には、期限、営業日という条件、履行の約束が含まれます。この約束を検証する際は、これらの関係のどこが変わったのかを説明する必要があります。数字が一致しているだけでは、主張が保持されたとは判断できません。

評価モデルはイベントのペイロードを受け取ります。ドキュメントのジョブでは、ファイルごとにまとめられた原文と訳文、ロケールのペア、エンジンIDが含まれます。リクエスト単位のコンテキストフィールドは含まれません。評価にはプラットフォームが管理するモデルが使われ、テキストを生成したモデルと同じとは限りません。

評価対象の翻訳を選択する #

測定の一般タブで、実行対象の下にあるlocalization.completed行から対象のリクエストを選択します。

セレクター選択対象
言語翻訳先のロケール。すべての言語を選ぶと、すべてが対象になります。
原文の言語翻訳元のロケール。すべての原文言語を選ぶと、すべてが対象になります。
エンジン翻訳を評価するローカライゼーションエンジン。すべてのエンジンには、後から追加されたエンジンも含まれます。
サンプルほかの条件で選択されたイベントのうち、すべてのイベント、または50、25、20、10、5、1%のいずれか。

変更を保存を選択して設定を適用します。ロケールの選択は、イベントの選択で説明しているロケール階層に従います。frを選択するとfr-CAも選択されますが、fr-CAを選択してもfr-FRは選択されません。ローカライゼーションエンジンなしで記録されたリクエストは、エンジンを限定する条件を満たしません。

サンプリングは、条件に一致するリクエストから一定の割合を選択するもので、少数のバッチで正確な件数を保証するものではありません。サンプル、言語、エンジンの選択範囲から外れたリクエストにも、理由が「条件を満たしていません」で始まる「該当なし」の回答が返されますが、課金はされません。レポートでは、対象となり得る母集団と、実際に選択されたリクエストを区別してください。サンプリングによって意図的に除外されたリクエストは、評価の失敗ではありません。ただし、母集団のどの程度に確定的な回答が得られたかを説明する際には、除外されたリクエストの存在も考慮する必要があります。

検証で参照される指針を把握する #

用語集遵守とルール遵守は、実行時点でのエンジンの用語集の用語とルールを参照します。MQMでは、イベントでエンジンが指定されている場合、そのエンジンの現在のブランドボイス、ルール、一致する用語が追加されます。いずれも、リクエストとともに記録された指針のスナップショットを復元するものではありません。そのため、生成後に用語を変更すると、後から行う過去のイベントの評価で検証する内容も変わります。

指摘がないことだけでは、生成時にどの指針が使われたかはわかりません。リクエストで元のバッチとモデルの試行を確認し、送信されたコンテキストとエンジン設定をコンテキスト取得と照らし合わせてください。

非同期の回答を確認する #

ローカライゼーションが完了すると、測定がキューに登録されます。キューへの登録と評価は翻訳とは別に行われるため、翻訳が正常に生成されていても、回答がない場合があります。

Radar → ログ → 測定に回答が一覧表示されます。測定と値で絞り込み、回答を開くと、値、理由、提案、評価モデルへのリクエストを確認できます。回答の元になったイベントを、調査対象のジョブとロケールに対応付けてください。結果では、確定的な回答、該当なし、未実行を区別できます。

エンジンの翻訳に対するカスタム測定の回答が不合格または低評価だった場合、ローカライゼーションエンジンへの提案の根拠になることもあります。回答自体が翻訳を変更することはありません。

非同期評価は、翻訳パイプラインの進行を妨げたり、出力の公開を承認したりするものではありません。任意のポストエディットや人による判断は、パイプライン、レビューポリシー、Inboxで別途設定します。

評価を停止する、または測定を削除する #

今後の評価を停止するには、エンジンのスイッチをオフにするか、条件からエンジンを外すか、測定を無効にします。すでにキューに登録された処理は、そのまま完了する場合があります。

カスタム測定を削除すると、その定義と条件が削除されます。記録済みの回答は残り、不明な測定として表示されます。その定義に基づく調査がある場合は、削除する前に、調査資料とともに定義を保存してください。

回答がない場合は、再翻訳を試す前に、元のリクエストとそのイベント、測定のエンジン、言語、サンプルの設定、および「該当なし」の理由を確認してください。測定を有効にする前に生成された翻訳を評価するには、過去のイベントの評価を使用します。再現を試みると新たな処理が発生し、別のモデルや指針が選ばれる可能性があります。再現を試みるだけでは、元の試行を正確に復元することはできません。