レポート
レポートを使えば、個々の翻訳だけでは見えない傾向をつかめます。どの言語が作業の大部分を占めているのか、どの測定で回答が変わったのか、どこでルール違反が繰り返されているのかを確認できます。レポートは レーダー の次の二つの画面で利用できます:
- レーダー → 概要では、今月の状況をひと目で確認できます。測定の平均スコア、生成された単語数、今日のイベント数、今日の測定の回答数が表示されます。各タイルの名前にカーソルを合わせると、何を集計しているかを確認できます。
- レーダー → 探索では、用意された期間から選んでイベントや測定の回答をグラフ化し、組織のレポートとして保存できます。
どちらもレーダーのほかの画面と同じ記録済みのイベントと回答を参照するため、レポートからいつでも元の翻訳をたどれます。
利用可能なプラン
エクスプローラーと概要のレポートタイルを利用するには、Enterpriseプランが必要です。それ以外のプランでは、レポートがプランの対象外であることを示すメッセージが表示されます。レーダー → ログの測定とその回答は、すべてのプランで利用できます。
トークン使用量とコスト
トークン使用量とコストの詳細データは、設定の使用量ページで確認できます。
概要#
| タイル | 表示内容 |
|---|---|
| 平均スコア | すべての測定の回答から算出した、今月の日別平均スコア |
| 生成単語数 | 今月エンジンが翻訳した単語数と、前月の同じ期間との比較。比較期間はタイルに表示されます(例:「10月1日~2日との比較」)。 |
| 今日のイベント | 今日記録されたイベント数と、昨日との比較 |
| 今日の測定 | 今日のイベントに対して測定が返した、「該当なし」を含む回答数と、昨日との比較 |
スコアパネルでは、すべての測定から日ごとに回答を集計します。合格は1、不合格は0として扱い、0から100のスコアは100で割った値を使います。該当なしの回答や、編集パターンなどの構造化された回答は除外します。上部の数値は、スコアがある各日の値を、回答数で重み付けせずに平均したものです。その下の行には、今月の現時点までと前月の同期間との差がポイントで表示されます。
このパネルはすべての測定をまとめるため、数値の増減が示す意味の異なる基準が混在します。たとえば、編集距離が大きいほど、テキストの変更量が多いことを意味します。数値の変動は品質の判定ではなく、探索で測定を一つ選んで詳しく確認するきっかけとして捉えてください。
探索でレポートを作成する#
レポートの作成を始める
レーダー → 探索を開いて新しいレポートを選択するか、サンプルを開いて、自分のデータを基にしたレポートを調整します。
測定から始めるか、データを選ぶ
特定の測定の推移を見るには、プリセットでその測定を選択します。レポートには、過去90日間の回答が週ごとに表示されます。0~100で評価する測定ではスコアの平均、合否を判定する測定では真偽値の平均、編集パターンでは回答数が表示されます。プリセットを選ぶと、レポート全体が置き換わります。プリセットを使わない場合は、データでデータを追加を選択し、集計または計算する対象と、その計算方法を順に選びます。
絞り込みとグループ化
フィルターでフィルターを追加を選択し、フィールドを選んで、いずれかに一致、いずれにも一致しない、空であるのいずれかを指定します。グループ化では、必要に応じて内訳を選びます。次の項目で分類を選択すると、2つ目の内訳を追加できます。
グラフ化して保存する
グラフの上で、日付範囲と集計単位を選びます。集計単位は日、週、月、年、合計から選べます。グラフでデータの表示方法を選び、レポートを保存を選択します。
データ、フィルター、内訳の各選択肢には、名前の下に内容の説明が表示されます。フィルター値として選べる各イベント種別にも、その意味が説明されています。レポート名の候補は表示内容に沿ったものになり、「MQM · 週ごとのスコア」のように、追跡する測定項目の名前で始まります。グラフのタイトルには、データの選択欄にある名前が使われます。
グラフには、折れ線、棒、数値、横棒、円、ヒートマップ、散布図、ドットプロット、ヒストグラムがあります。日付範囲は、過去7日間、30日間、90日間、過去12か月間、全期間から選べます。どの範囲も今日までが対象となるため、今日がまだ終わっていなくても集計に含まれます。日、週、月の区切りには、設定 → 一般で指定した組織のタイムゾーンが適用され、週は月曜日から始まります。
イベント#
| データ | 計算内容 |
|---|---|
| イベント | 記録されたイベント |
件数を数える前に、イベントの種類で絞り込んでください。ローカライゼーションの開始と完了は、それぞれ別のイベントとして数えられます。単語数は概要の生成単語数で確認してください。
イベントは、イベントの種類、翻訳先ロケール、翻訳元ロケール、エンジン、プロバイダー、またはペイロードのキーで分類できます。たとえば、GitHubリポジトリで分類するにはoriginalEvent.repoを使います。接続済みのGitHubリポジトリでは、コミットによって追加、変更、削除されたローカライゼーションキーごとにイベントが記録されます。イベントをリポジトリ別に分類すると、コードベースのどこでローカライズされたコンテンツが変更されているかを確認できます。
測定#
| データ | 計算内容 |
|---|---|
| 測定 | 件数:「該当なし」を含むすべての回答数。一意の数:回答した測定の重複を除いた数 |
| スコア | 「該当なし」を除く、0~100の回答の平均または合計 |
| 真偽値 | 平均:合否の回答のうち、合格の回答数を「該当なし」を除いた回答数で割った値 |
| 合格、不合格 | 合否形式の回答のうち、合格または不合格となったもの |
| 該当なし | 該当なしの回答 |
| 値の種類、イベントの種類、翻訳先ロケール、翻訳元ロケール、判定者、判定モデル、エンジン、プロバイダー | そのフィールドを持つ回答の件数、またはそのフィールドの値の一意の数 |
スコアを比較する前に、フィルターまたは内訳として1つの測定を選択するか、その測定のプリセットから始めてください。測定を指定しないと、スコアに互いに関係のない評価基準が混在します。測定レポートは、回答したモデルを示す判定モデルや、スコアでも分類できます。スコアで分類すると、ヒストグラム用に回答が10点刻みの区間に分けられます。
用語集遵守とルール遵守のスコアは、用語集の用語やルールがどれだけ一貫して適用されているかを示します。編集率と編集距離は、人が翻訳を変更する頻度と、その変更の大きさを示します。ZendeskヘルプセンターやGitHubリポジトリの編集率を算出する際、Exploreは、人による変更の有無にかかわらず、Lingo.devが作成した翻訳をそれぞれ一度だけカウントします。値(真偽値) に平均を適用すると、これらの翻訳のうち人が変更したものの割合が表示されます。この割合は、Lingo.devが各翻訳を作成した期間に計上されます。
内訳とペイロードキー#
内訳では、件数の多いグループを残し、それ以外をその他にまとめます。時間の集計単位を指定しない場合は上位10件、指定した場合は上位5件が表示されます。次の項目で分類で二つ目の内訳を追加した場合は、上位100件が表示され、その他は表示されません。対象フィールドのないレコードは未設定として表示されます。
フィルターと内訳には、イベントのペイロード内で見つかったキーもパス別に表示されます。たとえば、Zendeskの記事ではoriginalEvent.entity.typeなどです。レポートが一度に読み取るペイロードキーは一つです。この一覧は組織のペイロードのサンプルから作られるため、一部のイベントにしか含まれないキーは表示されないことがあります。
レポートの保存と共有#
レポートに保存されるのは、名前と定義、つまり系列、フィルター、グループ化、グラフ、期間であり、データそのものではありません。開くたびにクエリが再実行されるため、同じレポートでも後から異なる値が表示されることがあります。組織のすべてのメンバーが組織のレポートを閲覧でき、どのレポートでも名前の変更、上書き、削除が可能です。削除したレポートは復元できません。
保存済みのレポートを変更したら、保存で上書きするか、新規として保存で元のレポートを残すか、破棄を選択します。CSVをダウンロードでは、その他のグループも含め、グラフの下の表を表示どおりに書き出します。
日別平均と全回答の集計値#
日ごとの割合を平均した値と、すべての回答をまとめて集計した値は、異なることがあります。ある日に1件中1件が合格し、別の日に9件中0件が合格した場合、日別の合格率の平均は50%ですが、10件全体の合格率は10%です。概要の上部の数値は日ごとの平均なので50%と表示されます。一方、同じ期間を対象にした探索の数値グラフは回答をまとめて集計するため、10%と表示されます。対象全体の割合を知りたい場合は、全回答の集計値を確認してください。
以前のレポートの移行先#
| 以前のレポート | レーダーでの確認先 |
|---|---|
| 単語生成数 | 概要の生成単語数 |
| 上位ロケール | 翻訳先ロケールまたは翻訳元ロケールで分類した、エクスプローラーのイベントレポート |
| 変更率 | リポジトリで分類した探索のイベントレポート |
| 平均スコア | 概要のスコアパネル、またはエクスプローラーでスコアの平均を選び、測定別に分類したレポート |
| 用語適用率 | 探索の用語集遵守の回答 |
| ルール遵守 | 探索のルール遵守の回答 |
MCPとAPIを使ったレポート操作#
Lingo.dev MCP serverでは、イベントや測定の回答を照会し、保存済みレポートの作成、更新、削除を行えます。これにより、AIアシスタントが会話の中で翻訳の状況に関する質問に答えられます。保存済みレポートには、/v2/organizations/:orgId/reportsのAPIからもアクセスできます。