Crowdinの測定ソース

Crowdinでの翻訳アクティビティをRadarに収集し、定義した測定でテキストや編集プロセスを検証します。

Crowdinで翻訳の作成とレビューを続けながら、Lingo.devでその品質を検証できます。Crowdin連携は、対応する文字列単位のイベントを受信し、そのテキストをRadarで測定の根拠データとして利用できるようにします。翻訳と公開のワークフローは、引き続きCrowdinで行えます。

Studio 2.5のナビゲーションでは、設定 → 連携ではなく、Studio 2.5 → 連携を開いてください。既存の接続用リンクやセットアップ用リンクも引き続きご利用いただけます。

原文の変更、新しい翻訳候補、承認、エクスポートされる翻訳文の更新は、それぞれ作業の異なる側面を表します。この連携ではその違いを保持するため、各測定で必要なテキストや変更を的確に検証できます。翻訳の生成や、修正した文言のCrowdinへの送信は行いません。

ソースを接続する #

  1. 対象のLingo.dev組織で設定 → 連携を開き、Crowdinの接続を選択します。利用できない場合は、その組織でこの機能を利用できるか確認してください。
  2. 接続の名前を入力します。crowdin.comを使用する場合は、Enterpriseドメインを空欄にします。Crowdin Enterpriseの場合は、acmeのように.crowdin.comより前の部分を入力し、接続を選択します。
  3. 表示されたウェブフックURLをコピーします。測定対象の各Crowdinプロジェクトでツール → ウェブフックを開き、そのURL、POSTメソッド、JSON形式のペイロードを指定してウェブフックを追加します。以下の対応する文字列イベントを選択してください。

ウェブフックURLは認証情報として扱ってください。受信側は、URLに含まれるシークレットを使って受信イベントを認証します。チケットやリポジトリ内のファイルには記載しないでください。一つの組織接続で複数のプロジェクトからイベントを受信でき、各イベントにはプロジェクトの識別情報が含まれます。後からレポートの対象範囲を確認できるよう、設定したプロジェクトを記録しておいてください。

必要な文字列イベントを選択する #

Crowdinで、対応する文字列単位のイベントを購読します。

Crowdinのイベント提供される根拠データ
string.added, string.updated, string.deleted原文の文字列に関するアクティビティ。
suggestion.added, suggestion.updated, suggestion.deleted翻訳候補に関するアクティビティ。
suggestion.approved, suggestion.disapproved翻訳候補に対するレビュー操作。
translation.updatedエクスポートされる翻訳文の新旧の差分。

エクスポートされる翻訳では、変更前の値が空で変更後の値がある場合は作成を示します。両方に値がある場合は更新、変更前の値があり変更後の値が空の場合は削除を示します。翻訳候補の承認は、エクスポートされる翻訳文の変更とは別のイベントです。

file.approvedやfile.translatedなどのファイル単位のイベントは、このアダプターでは文字列の根拠データとして扱われません。未対応のイベント種別や、プロジェクトまたは文字列の識別情報がないイベントは、スキップされることがあります。最初の検証には、対応する文字列イベントを使用してください。ウェブフックの配信が成功しただけで、測定に使える根拠データが得られたとは判断しないでください。

一つの翻訳変更を測定まで追跡する #

最初のテストでは、組み込みの編集距離測定を使用します。この測定は翻訳文の作成時と更新時に実行され、新しい翻訳文をその文字列の以前の翻訳と比較します。テスト用のアクティビティを発生させる前に、Radarで測定を有効にしてください。

  1. 内容を把握しているプロジェクトと文字列を選び、既に翻訳がある翻訳先言語を選択します。現在の翻訳と、これから承認するテキストを記録します。
  2. Crowdinの通常のレビューワークフローで編集済みの翻訳候補を承認し、設定したウェブフックへのtranslation.updatedの配信を確認します。
  3. Lingo.devで対応する翻訳文のイベントを探します。プロジェクト、読み取り可能なキー、ロケール、翻訳文を、記録した新旧のテキストと照合します。測定に使われた以前の翻訳が意図した比較対象でない場合は、編集距離の結果を解釈する前に、その文字列の過去のイベントを確認してください。
  4. 編集距離の結果を開きます。測定の定義、比較されたテキスト、測定が完了して数値結果が出ていることを確認します。分母と文字単位に関する制限は、組み込み測定のリファレンスで説明しています。

このテストでは、プロバイダー側の一つの操作と、後で解釈する測定結果のつながりを確認します。文字列の最初の翻訳には以前のバージョンがないため、編集距離の結果は0になります。承認自体はsuggestion.approvedとして記録され、編集に関する測定は一切実行されません。組み込みの用語集チェックとルールチェックが使用するのはローカライゼーション完了イベントであり、Crowdinでの編集や承認ではありません。別の種別のイベントを測定するには、そのイベントと利用可能な根拠データに合わせてカスタム測定を設定してください。組み込みの測定に別のトリガーを割り当てることはできません。

イベントのタイムスタンプと識別情報は、記録をその発生元と結び付ける手がかりになりますが、それぞれが何を表すかはアクティビティによって異なります。承認を含む翻訳や提案のイベントには、翻訳のcreatedAtが使われます。そのため、今日受信した承認が、過去の作成日で表示されることがあります。受信時刻は、同じ提案に対する複数回の却下を区別するために使われるほか、タイムスタンプがない場合や無効な場合の代わりにも使われます。承認は提案ごとに一度だけ記録されます。イベントを絞り込むときや、過去の測定期間を選ぶときは、記録されたeventAtを確認してください。後からテキストを抽出しても、タイムスタンプがなければ、すべてのイベントを確実に再照合することはできません。また、作成者情報がないからといって、根拠なくイベントを人間やモデルによるものと判断することもできません。

対象範囲を踏まえて結果を読む #

ウェブフックは、設定されたアクティビティを配信時点から収集します。それ以前の翻訳、原文の改訂、プロジェクトの履歴をすべて把握できるわけではありません。ペイロード内のテキストの欠落、未対応のイベント、未設定のプロジェクトは、いずれも測定に使えるデータを減らす要因になります。同じレビュー操作が繰り返し配信されると、根拠データが別々の記録として残ることがあるため、イベント数は必ずしもレビュー済み翻訳の重複を除いた件数とは一致しません。

基準の対象外となる記録と、対象ではあるものの必要なテキストが欠けている記録を区別してください。評価については、判定結果が出て完了したもの、判定不能という結果で完了したもの、まだ結果が出ていないものを区別します。判定不能という結果は、評価作業の完了を示しますが、合格とも不合格とも判断する根拠にはなりません。

合格率を報告する際は、判定が確定した結果の件数を分母にし、対象コンテンツのうちどれだけで判定が確定したかも報告してください。評価がないことは、翻訳品質が低いことを意味しません。また、Crowdinでの承認が示すのはそのプロジェクトのレビュープロセスであり、それだけで意味の正確さが証明されるわけではありません。計算と解釈については、翻訳品質の測定を設計するで詳しく説明しています。

配信を復旧する、またはソースの使用を終了する #

根拠データが表示されなくなった場合は、プロジェクトのウェブフックの購読設定、イベント種別、配信エラー、送信先URLを確認してください。接続の現在のウェブフックURLに、JSON形式のデータを含むPOSTリクエストを送信していることを確認します。この連携では、受信できなかったイベントは自動で補完されません。Lingo.devに既に収集されたイベントを評価するには、過去のデータを測定するワークフローを使用してください。

ウェブフックURLが漏えいした場合や変更が必要になった場合は、設定 → 連携で接続を開き、ローテーションを選択して、URLをローテーションで確定します。古いURLは直ちに使えなくなります。設定済みのすべてのCrowdinプロジェクトに新しいURLをコピーし、対応するイベントが配信され、その根拠データがRadarに表示されることを確認してください。

切断すると、その接続からの新しい根拠データの収集は停止しますが、記録済みの測定は残ります。Crowdinプロジェクトのウェブフックは別途削除してください。Crowdinの翻訳やレビュー操作は変更されません。切断前後にまたがる期間のレポートでは、データが収集されなかった期間を考慮し、その期間に翻訳作業がなかったとは解釈しないでください。