評価結果

集計の元となる回答と分母を確認し、測定スコア、合格率、ルール数や用語数を読み解きます。

評価結果レポートは、測定の回答を集計したものです。レーダー → 概要のスコアパネルは当月を対象とし、測定をデータソースにした探索レポートでは、測定、言語、エンジン、イベントの種類で回答を絞り込めます。どちらかで傾向をつかんだら、個々の回答を開き、その背景にあるテキストを確認してください。

概要のスコアと探索レポートは、合否形式と数値スコア形式の回答を集計します。件数の集計では、該当なしの結果も含みます。結果には、個々の回答とそのテキスト、確認できる判定理由が表示されます。編集パターンの分類は、これらのレポートや結果一覧には含まれません。測定とイベントの種類は、明確に区別してください。名前が似ていても、示している根拠が異なる場合があります。

概要のスコア #

パネルには対象月が表示され、棒グラフは日ごとの平均スコアを示します。各日の値は、すべての測定から、その日の合否形式と0〜100の数値形式の回答をまとめて算出します。合格は1、不合格は0、数値スコアはその値を100で割った値として扱います。該当なしの回答は除外され、編集パターンなどの構造化された回答も含まれません。見出しの数値は、スコアのある日を対象に、回答数による重み付けをせずに平均したものです。その下の行には、当月のこれまでの期間と前月の同じ期間との差がポイントで表示されます。

このパネルはすべての測定をまとめるため、数値の大小が意味することの異なる基準が混在します。編集距離が大きいほど変更されたテキストが多く、編集率の回答が合格であることは、そのテキストが編集されたことを意味します。パネルの数値の変化は品質の判定と捉えず、測定を1つ選んで探索を開くきっかけにしてください。

スコア #

データで、調べたい測定の回答に対するフィールドと計算方法を選択します。

データ計算方法
測定件数:合否形式と数値スコア形式の回答数。該当なしも含みます。一意の数:回答を返した測定の種類数
スコア該当なしを除く、0〜100の回答の平均または合計
真偽値平均:合否形式の回答のうち、合格した回答数を、該当なしを除く回答数で割った値
合格、不合格合否形式で合格または不合格となった回答
該当なし該当なしの回答
値の種類、イベントの種類、翻訳先ロケール、翻訳元ロケール、判定主体、判定モデル、エンジン、プロバイダーそのフィールドを持つ回答の件数、またはそのフィールドの値の一意の数

スコアを比較する前に、フィルターまたは内訳として測定を1つ選ぶか、その測定のプリセットから始めてください。測定を指定しないと、スコアに互いに関係のない基準が混在します。回答の母集団を調べるには、判定モデル、値の種類、判定主体、ロケール、エンジン、プロバイダーを内訳に使います。

期間全体の一意の数を求めるには、時間 → 合計を使います。日ごとに重複を除いた件数を足し合わせると、同じ測定やエンジンを複数回数えてしまうことがあります。

用語集遵守とルール遵守の回答は、用語集の用語とルールがどの程度一貫して適用されているかを示します。編集率と編集距離は、人が翻訳を変更する頻度と変更量を示します。ZendeskヘルプセンターやGitHubリポジトリの編集率では、探索はLingo.devが書き込んだ翻訳をそれぞれ1回だけ数え、人が変更したものを合格とします。つまり、真偽値の平均は、それらの翻訳のうち人が変更したものの割合であり、Lingo.devが翻訳を書き込んだ期間に計上されます。

保存された回答の件数だけでは、対象となる母集団の全体像はわかりません。失敗した試行や、評価まで到達しなかった翻訳は含まれていないためです。条件で指定された言語、エンジン、サンプルの範囲外にあるイベントには、該当なしの回答が付くことがあります。その選択条件は、完了率と判定可能な回答のカバレッジと併せて残してください。

期間全体の平均を正しく読み解く #

たとえば、ある日は回答1件中1件が合格し、別の日は回答9件中合格が0件だったとします。日ごとの合格率を平均すると50%ですが、10件すべての回答をまとめて計算すると10%です。概要の見出しの数値は日ごとの値を平均するため、50%と表示されます。探索で同じ期間を指定し、真偽値 → 平均、時間 → 全期間、数値チャートを選ぶと、10%になります。レポートクエリの仕様にあるクエリ応答のtotals.averageScoreも、これらの合否形式の回答について、全件をまとめて集計した同じ結果を返します。

日別の折れ線グラフは、その日の回答をまとめて算出した値を示しますが、各点が何件の回答に基づくかはわかりません。その日の母集団が重要な場合は、測定の件数を追加し、該当なしも確認してください。測定名は変わることがあるため、継続的な分析では識別子を残してください。

平均値の変化は、基準、サンプル、言語構成、回答形式の違いを反映している可能性があります。翻訳の改善によるものと判断する前に、これらを確認してください。数値スコアは、それ自体が正しさの確率を表すものではありません。また、平均値が高くても、ある一節に重大な問題がある場合があります。

ルールと用語 #

ルール遵守は、適用対象のルールのうち翻訳が従ったものの割合をスコア化します。用語集遵守は、返された用語の検出結果のうち、適用済みと判定されたものの割合をスコア化します。各回答のスコアはpassed / checked × 100です。何もチェックされなかった場合、回答は該当なしになります。

探索で測定の数値回答を比較するには、スコアの平均を使います。この方法では、適用対象のルールや用語の数にかかわらず、判定可能な各回答が同じ重みで扱われます。結果にはスコアと確認できる説明が表示されますが、passedとcheckedそれぞれの合計は表示されません。そのため、このレポートでは、個々のルールや用語のチェックをすべてまとめた場合の合格割合はわかりません。

平均スコアは、すべてのルールに従った翻訳の割合でもありません。適用対象のチェックがなく該当なしとなった回答は、チェックに不合格だった翻訳とは異なります。翻訳や指針を変更する前に、判定理由と、確認できる場合は判定リクエストを開き、スコアの根拠となった検出結果を確認してください。

これらのチェックは、実行時点でのエンジンの用語集とルールを読み取ります。そのため、生成時にリクエストが実際に受け取った内容とは食い違う場合があります。翻訳先のテキストを修正する前に、守られなかったルールや適用されなかった用語を、テキストと併せて確認してください。想定していた指針がリクエストに含まれていなかった場合は、コンテキスト取得を調べてください。ルール自体が不明確な場合は、ルールで内容を明確にしてください。用語については、用語集と境界を明確にして用語を定義するを参照してください。

言語を比較し、原因を調べる #

ロケールを比較するときは、基準、元の母集団、期間、選択方針をそろえてください。評価結果には、スコアが付いた件数と欠測状況を併記します。抽出された回答が少ない言語は、単に異なるコンテンツが判定モデルに渡っただけで、優れているように見える場合があります。

作業量、品質上の検出結果、編集状況は、それぞれ別の指標です。リポジトリの変更件数だけでは、言語面での修正があったとは判断できません。翻訳先のテキストだけでなく、原文とコンテキストも読んでください。原文が曖昧だったり指示が矛盾していたりすると、複数の言語で同じような問題が繰り返し検出されることがあります。このパターンの原因を突き止めるには、翻訳先のスコアが低いという理由だけで原文の欠陥を推測するのではなく、原文の修正と明確な分類が必要です。

条件をそろえて比較するには、翻訳モデルを比較するを使うと、対応するコンテンツと基準を維持できます。疑わしい検出結果については、品質の検出結果を検証するで、報告された問題が実際に存在するかを確認できます。