Radar リファレンス
Radarは、翻訳に関する出来事をイベントとして記録し、測定でチェックします。このページでは、イベントの種類とその送信元となる連携、翻訳の作成者、測定結果の意味など、Radarの各ページに登場するすべての用語を解説します。ダッシュボードのRadar → リファレンスでも、同じ情報を組織独自の測定とあわせて確認できます。情報はイベント、翻訳の作成者、測定の3つのセクションにまとめられており、各セクションは開くまで折りたたまれています。
イベントタイプ#
イベントは、文字列に起きた一つの出来事を記録します。イベントタイプは subject.action という形式です。対象は、原文、翻訳、翻訳案、Lingo.dev のローカライゼーションリクエストのどれに関するイベントかを示し、アクションはその対象に何が起きたかを示します。
| タイプ | 意味 | 送信元 |
|---|---|---|
localization.started | Lingo.dev のエンジンがローカライゼーションリクエストを開始しました。 | Lingo.dev |
localization.completed | Lingo.dev のエンジンがローカライゼーションリクエストを完了しました。原文、訳文、使用したエンジンの情報が含まれます。用語集遵守、ルール遵守、MQM の測定は、このイベントを対象に実行されます。 | Lingo.dev |
source.created | ソース言語の文字列が追加されました。ソースファイルの新しいキー、ヘルプセンターの新しい記事・セクション・カテゴリー、またはCrowdinの新しい文字列が該当します。 | GitHub, Zendesk, Crowdin |
source.updated | 文字列の原文が変更されました。 | GitHub, Zendesk, Crowdin |
source.deleted | 原文の言語から文字列が削除されました。 | GitHub, Crowdin |
target.created | ターゲット言語の翻訳が追加されました。この翻訳の編集率、編集距離、編集パターンが算出されます。 | GitHub, Zendesk, Crowdin |
target.updated | 翻訳が変更されました。変更後の翻訳とLingo.devが直前に書き込んだバージョンを比較し、編集率、編集距離、編集パターンを算出します。 | GitHub, Zendesk, Crowdin |
target.deleted | 翻訳が削除されました。 | GitHub, Crowdin |
suggestion.created | 翻訳が提案されました。Crowdinに追加された翻訳案、またはCLI、CI、GitHub Appを通じてLingo.devが翻訳したファイル内のキーが該当します。 | Lingo.dev, Crowdin |
suggestion.updated | 翻訳案が編集されました。 | Crowdin |
suggestion.deleted | 翻訳案が削除されました。 | Crowdin |
suggestion.approved | レビュー担当者が翻訳案を承認しました。 | Crowdin |
suggestion.rejected | レビュー担当者が翻訳案を却下しました。 | Crowdin |
GitHubリポジトリは、コミットで追加・変更・削除されたローカライゼーションキーごとにイベントを送信します。Zendeskヘルプセンターは、各言語で公開された記事・セクション・カテゴリーのフィールドごとにイベントを送信します。Crowdinは、ウェブフックを通じて文字列単位のアクティビティを送信します。それぞれの接続方法は、イベントの送信元をご覧ください。
一つの文字列に対して、複数のイベントが発生することがあります。翻訳案の提案、その承認、翻訳の更新は、それぞれ別のイベントとして記録されます。翻訳数を集計する前に、イベントタイプで絞り込んでください。
生成元#
レーダー → ログの作成元フィルターと列で、テキストや回答の生成元を確認できます。
| 生成元 | 名前 | 意味 |
|---|---|---|
llm | AIモデル | Lingo.devのエンジンやCrowdinのAI事前翻訳などの大規模言語モデル。 |
human | 人 | 翻訳者、レビュー担当者、リポジトリにコミットするチームメンバーです。 |
mt | 機械翻訳 | DeepL や Google 翻訳などの機械翻訳エンジンです。 |
tm | 翻訳メモリ | 過去に承認され、翻訳メモリから再利用された翻訳です。 |
algo | アルゴリズム | モデルや人ではなく、編集距離などの結果を計算するコードです。 |
測定結果#
各測定は、実行対象のイベントごとに結果を返します。Radar → ログ → 測定の値フィルターで、結果の種類を絞り込めます。
| 値 | 意味 |
|---|---|
| 合格 | 合否を判定する測定で、翻訳が基準を満たしていると判定されました。編集率の場合は、人が翻訳を変更したことを示します。 |
| 不合格 | 合否を判定する測定で、翻訳が基準を満たしていないと判定されました。編集率の場合は、誰も翻訳を変更していないことを示します。 |
| 採点済み | MQM や編集距離など、0〜100 で評価する測定でスコアが算出されました。 |
| 該当なし | 用語集の用語を含まない原文に対する用語集チェックなど、そのイベントには測定項目が該当しませんでした。平均値と合格率の計算からは除外されます。 |
| 条件未達 | イベントタイプは測定対象ですが、言語、エンジン、発生元、サンプルの条件を満たしていません。評価者による判定を行わずに「該当なし」を返し、課金もされません。 |
組み込みの測定#
| 測定 | 測定内容 | 実行対象 |
|---|---|---|
| 用語集遵守 | 関連する用語集の用語のうち、翻訳に適用された割合 | localization.completed |
| ルール遵守 | 適用対象のルールのうち、翻訳で守られた割合 | localization.completed |
| MQM | モデルが列挙した誤りから算出する 0〜100 のスコア | localization.completed |
| 編集率 | 人が翻訳を変更したかどうか | target.created, target.updated |
| 編集距離 | テキストがどの程度変更されたかを示す割合 | target.created, target.updated |
| 編集パターン | 変更時に行われた編集の種類 | target.created, target.updated |
AI評価者では、各測定の結果の算出方法と、独自の測定の作成方法を説明しています。