パイプラインで翻訳品質を測定する

既存の翻訳ワークフローに継続的な測定を取り入れ、リビジョン、判定結果、未完了の作業をそれぞれ追跡できるようにします。

既存の翻訳ワークフローでは、コンテンツの取得元と、採用したテキストの保存先がすでに決まっています。原文と訳文のバージョンを保存できる段階に測定を組み込み、各判定結果をその記録にひも付けましょう。翻訳を生成・管理するシステムを変えずに、チームで品質を検証できます。

このガイドでは、定期的に行う一つの測定を例に、収集から復旧、報告までの流れを説明します。まずは「製品の訴求に含まれる条件が訳文でも保たれているか」など、明確な基準を定めましょう。基準の作成と調整の方法は、翻訳品質の測定を設計するで説明しています。

チェックを実際の取り込み経路につなぐ #

自動化の仕組みを設計する前に、実行経路を選びます。

既存の作業測定経路
Crowdinの提案と翻訳Crowdinに接続してイベント測定を有効にし、収集されたアクティビティと結果をRadarで確認します。
ローカルの翻訳ファイル採点ツールとモデルの設定を指定してlingo scoreを実行し、ローカルに出力された結果ファイルを保存します。
Lingo.devの翻訳リクエストリクエストの完了したローカライズに対して測定を実行し、判定結果をRadarで確認します。

Radarに届くデータは、収集対象イベントの取得元によって決まります。任意の翻訳やスコアをアップロードするための汎用エンドポイントはありません。対応する取り込み経路がない独自のパイプラインでは、以下のリビジョン記録を保存し、送信を自動化する前にデータの転送手段を確立してください。独自の基準を作成するだけでは、転送手段は用意されません。

こうした制約は、翻訳を収集するで説明しています。採用したテキストをどこで管理していても、この測定方法は活用できます。ただし、ローカルでの採点とイベント履歴では、照合する記録が異なります。

原文と訳文のバージョンを一緒に保存する #

編集しても変わらないコンテンツ識別子を選び、評価した原文と訳文それぞれのリビジョンを記録します。メッセージ識別子だけでは、昨日のテキストに対する判定と、今日修正したテキストに対する判定を区別できません。

利用者側で管理する記録には、たとえば次の情報を含めます。

json
{
  "contentId": "checkout.delivery",
  "sourceRevision": "source-17",
  "targetRevision": "fr-12",
  "targetLocale": "fr",
  "criterionVersion": "delivery-promise-3",
  "sourceText": "Your order will arrive within five business days.",
  "targetTextLocation": "accepted catalog at revision fr-12"
}

これは追跡用の記録例であり、Lingo.devのリクエストスキーマではありません。実際の訳文、または評価時にアクセスでき、内容が変わらない参照先を保存してください。「最新版」へのリンクは、評価の実行中に参照内容が変わる可能性があります。発生日時、判明している場合は生成元、採用したテキストの保存先も記録に含めます。

確認したい内容に応じて、根拠となる情報を追加します。意味が保たれているかを確認するには原文と訳文の組み合わせが、編集状況を確認するには実際の下書きが必要です。用語の確認には、定義や使用文脈が必要になる場合があります。スペルチェックなら、訳文だけで足りる場合もあります。評価対象のメッセージで根拠が不足している場合は、合格や対象外とせず、評価上の未確認事項として残してください。

収集から判定までの一連の流れを完了する #

Crowdinでは、接続手順に従って接続した後、イベント測定とそのトリガー、対象ロケールを設定します。Lingo.devの翻訳では、測定に使うエンジン、原文と訳文の言語、サンプルを確認します。テスト用のアクティビティやリクエストを発生させる前に、これらの設定を保存してください。

発生したイベントまたはリクエストを探し、そのテキストを保存済みの記録と比較します。次に、判定結果を基準に照らして確認します。イベントの受信、評価対象の選択、判定の完了は、それぞれ別の到達点です。選択設定を変更しても、過去のイベントが遡って評価されるわけではありません。過去のイベントを評価したい場合は、過去のイベントの評価を使用してください。

ワークフロー内には、簡単な照合記録を残します。選択したリビジョン、受信したイベントまたはリクエストの識別子、測定の識別子、完了した判定結果、未解決の不足事項を記録してください。実際に利用できる項目は、イベントと結果で説明しています。ローカルで採点する場合は、入力ファイル、設定、出力ファイルをまとめて保存する必要があります。

再試行と修正を区別する #

再試行では、同じリビジョンが再び配信されます。一方、修正では、コンテンツ識別子が同じでも訳文の新しいリビジョンが作成されます。取得元の重複排除の仕組みを適用する前に、記録上でこの違いを明確にしてください。

たとえば期限を修正した場合は、訳文に新しいリビジョンを付け、対応する原文と改めて比較します。改善点を示す必要がある場合は、以前のテキストと判定結果も保存してください。原文で約束している内容も変わった場合は、原文の新しいリビジョンも保存します。新しい訳文を古い原文と比較すると、実際にはない問題があるように見えることがあります。

提供元からの配信すべてに、共通の無制限な冪等性保証があるわけではありません。Crowdinでレビュー操作を繰り返すと、操作ごとに異なるイベント識別子が付くことがあります。ほかのアクティビティでは、それぞれ固有の発生情報が使われます。結果が不明な作業を繰り返す前に、確認できる受信記録と結果を照合してください。

最後に確認できた到達点から復旧する #

確認できていること次に調べること
取得元にリビジョンはあるが、イベントが見つからない接続、対応するアクティビティの種類、対象期間、収集の証跡を確認します。
イベントはあるが、判定結果が見つからない有効になっている測定条件、ロケール、必要な送信データ、非同期処理を確認します。
判定処理は完了したが、結果が判定不能になっている説明を読み、不足している根拠を補うか、曖昧さを解消します。
基準が実際に適用されないその判断を記録し、この基準の品質指標の分母から該当項目を除外します。
実行に失敗した失敗の原因を特定してから、対応する経路で該当の作業を再試行します。

結果がないというだけでは、待機中なのか、失敗したのか、入力が欠落したのか、そもそも依頼されていないのかを区別できません。根拠によって明らかになるまでは、不明な状態として扱ってください。非同期評価が見当たらないからといって、生成を繰り返しても確実な解決にはなりません。

復旧に過去のイベントの評価を使う場合は、未測定のイベントのみを有効にしたままにしてください。既存の判定結果を変更せずに、不足分を埋められます。対象期間を再測定すると、選択した期間全体で、その測定の以前の判定結果が置き換えられるため、先に保存してください。開始時の応答を完了と見なさず、想定したイベントと返された判定結果を確認します。

判定結果と未判定の作業を報告する #

例として、評価対象のリビジョン50件を一括処理する場合を考えます。45件で評価が完了し、そのうち40件で明確な判定が得られました。その40件のうち、36件は要件を保持し、4件は満たしていませんでした。

評価完了率は45/50で90%です。判定確定率は40/50で80%です。判定が確定したものの合格率は36/40で90%です。評価は完了したものの判定不能だった5件と、評価が完了していないリビジョン5件は、分けて扱います。

未完了の作業に偏りがある場合は、これらの件数を言語別やコンテンツ分類別にも示します。適用可否が不明なものは、解消されるまで見える状態にしておいてください。判定済みの記録で合格率が高くても、未判定の記録の状態までは分かりません。

基準を結果とともに保存する #

基準のプロンプト、必要な根拠、判定結果の定義、評価の設定を、コンテンツのリビジョンとともに保存します。定義を変更した場合は、既知の事例でテストしてから、その判定結果を既存の結果と合わせて傾向分析に使ってください。翻訳が変わらなくても、基準の変更によってスコアが変わることがあります。

指摘が正しいと確認できたら、管理元のシステムでテキストを修正し、新しいリビジョンを評価します。問題の診断を確かめるには、品質に関する指摘を検証するを参照してください。測定は、判断の根拠を提供するものです。書き戻しと公開は、引き続き既存のワークフロー内で明示的に行います。