結果
測定の回答を、対象テキスト、基準、判定理由、実行の証跡とともに確認し、未回答の作業も把握します。
結果は、測定とその対象テキストを結び付けるものです。結果を活用するには、回答を基準および評価対象の版と並べて確認します。条件が削除されたという指摘では、その条件と訳文の該当表現を特定する必要があります。数値だけでは、その変更を裏付けることはできません。
たとえば、編集率の回答が真であれば、空白を正規化しても下書きと訳文が異なることを意味します。一方、カスタム要件では、同じ真という値が翻訳の合格を意味する場合があります。値を解釈する前に、定義を確認してください。
適切な履歴を開く #
レーダー → ログの測定タブには、すべての回答が新しい順に表示されます。測定、言語、種類、値(合格、不合格、該当なし)で絞り込み、回答を開いて測定結果を確認します。各イベントのページでは、値にそのイベントの回答が表示されます。結果履歴の仕様では、時刻、イベント、測定、ロケール、イベントの種類、判定による絞り込みに対応しています。真偽値の合格・不合格フィルターは、真偽値の回答を選択するためのもので、数値スコアにしきい値を適用するものではありません。「該当なし」では、該当なしと記録された回答を選択します。
結果一覧の仕様では、既定の件数は200行で、1ページあたり最大500行まで取得できます。同じフィルターのままmeta.nextCursorをたどると、選択した履歴全体を確認できます。詳細の取得には、イベントID、測定ID、イベント発生時刻をatとして使用します。
Lingo.devで生成された翻訳の回答は、その翻訳のlocalization.completedイベントに属します。レーダー → ログ → 測定で、イベントのジョブIDと対象ロケールを照合してください。測定の対象にできる完了済みの作業については、Lingo.devの翻訳をレビューするで説明しています。スタジオ → ローカライズAPIでジョブを開くと、モデルリクエストを確認できます。
回答の各フィールドを読み取る #
| フィールド | 解釈 |
|---|---|
valueKind | boolまたはscoreで、回答の尺度を示します。 |
value | 真偽値の真を1、偽を0で表した値、または0から100までのスコアです。 |
notApplicable | 真の場合、その行には確定した真偽値や数値の回答がありません。valueをスコアとして扱う前に、このフィールドを確認してください。 |
reasoning, suggestion | 説明と修正案があれば格納されます。どちらもヌル値の場合があります。 |
eventAt, computedAt | 取得元に基づくイベント時刻と、この回答が算出された時刻です。イベント時刻は、プロバイダーのタイムスタンプ規則に従います。 |
| プロデューサーのフィールド | 記録された評価器またはアルゴリズムです。必ずしも翻訳の生成元とは限りません。 |
回答がヌル値の場合、保存される数値はゼロで、notApplicable: trueが設定されます。この組み合わせは「該当なし」を意味し、品質がゼロという判定ではありません。確定した回答が実際にゼロの場合は、notApplicable: falseが設定されます。
詳細には、トークン使用量、costUsdに加え、利用可能であれば、モデル、タイムスタンプ、入力、生の出力を含むaiRequestも含まれます。結果ページでは、回答とその判定理由・提案、評価対象の翻訳、評価リクエストの送信内容・応答内容が、評価器、所要時間、トークン数、費用とともに表示されます。アルゴリズムによる回答には、AIリクエストは必要ありません。リクエストの証跡が古い場合や利用できない場合にも、このフィールドがヌル値になることがあります。それ以外の点で回答が有効なら、説明がヌル値であること自体は実行失敗を意味しません。
説明が、存在しないテキストや指示に基づいているように見える場合は、評価器への入力を確認してください。修正案は適用前に原文と照合し、妥当性を確かめてください。提案された修正は、まだ採用済みの出力ではありません。
詳細の仕様には構造化されたanswerフィールドが含まれますが、現在の結果クエリが返すのは真偽値と数値の行のみです。保存されたJSON形式の編集パターンラベルは、これらの一覧・詳細の取得経路からは利用できません。また、過去の期間を再測定するバックフィルでは以前の回答も置き換えられるため、結果履歴は基準の各版を変更不能な形で保存するものではありません。
結果の解釈 #
「該当なし」には、それぞれ異なる対応が必要な複数の状況が含まれます。イベントが測定の対象言語、エンジン、サンプルの範囲外にあり、判定理由が「条件を満たしていません」で始まる場合があります。ルールが実際に適用されない場合もあります。選択された翻訳に原文がない場合や、評価器が実行されても判断できない場合もあります。すべての「該当なし」を判定完了とみなさず、理由、ペイロード、実行の証跡を確認して区別してください。
| 確認された状況 | 対応方法 |
|---|---|
| 適用可否が不明 | この評価にその基準を適用すべきかを確認し、不確実な点は見える形で残します。 |
| 基準が適用されない | その基準の品質指標の分母から除外し、理由を記録します。 |
| 対象となる翻訳に必要な証拠がない | 対象母集団には残し、証拠の不足を記録します。 |
| 評価器の処理は完了したが、確定した回答がない | 完了した評価は、確定した回答とは別に集計します。 |
| 対象となる翻訳に合格または不合格の回答がある | 確定回答の分母に含め、合格率の分子には合格のみを含めます。 |
| 評価の完了が確認できない | 未実施または失敗した作業を見える形で残し、最後に確認できた進捗段階を調べます。 |
これらは分析上の区別であり、画面上にそれぞれ別の状態が用意されていることを保証するものではありません。選択した母集団は、ワークフローの記録から把握します。返された回答だけでは、評価に到達しなかった対象翻訳をすべて特定することはできません。
たとえば、対象となる翻訳が30件あり、確定した回答20件のうち18件が合格なら、合格率は90%、確定回答のカバレッジは20/30です。さらに5件の評価が、確定した回答を出さずに完了していれば、完了カバレッジは25/30になります。残る5件には、完了した評価がありません。合格率によって証拠の不足が見えなくならないよう、これらの数値は分けて報告してください。
サンプリングは、意図的に対象を選ぶ手順です。サンプリングで除外されたイベントは実行失敗ではありませんが、対象母集団全体のカバレッジには影響します。母集団の定義方法と基準の検証方法については、翻訳品質の測定を設計するで説明しています。
結果の欠落と失敗 #
まず、元のイベントまたはリクエストを確認してください。存在しない場合は、収集または生成の処理を調べます。存在する場合は、選択された測定、有効になっている条件とその言語・エンジン・サンプル、および必要な証拠を確認します。
イベント処理では、評価器やストレージで回復可能な失敗が起きると再試行されます。一方、形式が不正なメッセージや不具合のある処理は、破棄されることがあります。画面に表示される回答一覧は、すべての試行を記録した台帳ではありません。また、翻訳が成功しても、その翻訳に対して測定が選択されたことや、測定がキューに登録されたことは保証されません。
収集された証拠はイベント、モデルの入力・出力・エラーはリクエスト、ワークフローの進捗は実行で確認します。人によるレビュー待ちはInboxで扱います。送信先への書き込み失敗は、翻訳や評価の失敗とは別です。不足しているレビューを1件得るために翻訳を繰り返し生成しても、元の不足は解消されず、無関係な作業が増えることがあります。
評価対象の版に対処する #
確認している訳文が、実際に評価された版であることを確かめてください。専門家によるレビューでは、返されたテキストと、実際にレビューへ送ったテキストを比較します。送信したテキストには、すでに言い換えが反映されている場合があります。委託先から結果が遅れて届いたことや、レビュー料金が返金されていないことは、チームがそのテキストを採用した証拠にはなりません。
指摘の妥当性を確認したら、訳文を管理するワークフローで修正するか、問題の原因となった原文、用語集、ルール、評価器の定義や指示を明確にします。変更後の版は再確認してください。この調査については品質に関する指摘を検証するで詳しく説明し、レビューの判断自体についてはInboxのレビューで扱います。