過去のイベントの評価

記録済みのイベントに現在の測定を適用し、以前の回答を保持するか置き換えるかを選びます。根拠情報を利用できない場合や、処理が非同期で完了する点も考慮します。

過去のイベントの評価では、組織ですでに収集したイベントに対して測定を実行します。過去の翻訳に新しい評価基準を適用したり、プロバイダーの履歴から取り込んだイベントを測定したり、改訂した定義で特定の期間を検証したりできます。測定の詳細ページにあるバックフィルタブから実行します。

プロバイダーの過去のコンテンツを対象にする場合は、まずGitHub または Zendesk の履歴をインポートし、対象のイベントがレーダー → ログに表示されることを確認してください。インポートの進捗に表示されるのは、収集待ちのキューに入ったプロバイダー側の項目数です。マッピングと保存は、その後に完了する場合があります。過去のイベントの評価では、保存済みのイベントペイロードを読み取ります。インポートした履歴のイベントは、受信時には測定されず、収集のみが行われるため、測定のバックフィルが必要です。

測定済みの内容を確認する #

測定済みセクションには、記録された全期間について、測定対象のイベント種別のうち、該当なしを含む回答があるイベント数が表示されます。たとえば「8,154件中1,204件のイベントを測定済み」と表示されます。集計対象はペイロードが保存されているイベントで、測定のオン・オフにかかわらず、その測定のイベント種別が含まれます。バックフィルの日付を変更しても、この件数は変わりません。合計の下には、GitHub リポジトリ、Zendesk ヘルプセンター、Crowdin プロジェクト、Lingo.dev といった発生元ごとに、測定済みのイベント数が表示されます。表示例は「acme/web 7,600件中1,180件」です。記録に発生元が指定されていないイベントは、発生元不明として表示されます。ISO 形式のfrom(境界を含む)とto(境界を含まない)を指定してGET /v2/organizations/:orgId/measurements/:measurementId/period-countsを実行すると、どの期間でも同じevents、measured、originsが返されます。

定義と期間を選択する #

開始する前に測定をオンにしてください。オフの間はバックフィルを開始を使用できません。有効なイベント種別によって、対象となる過去のイベントが決まります。各イベントは、条件に現在設定されている言語、エンジン、サンプルと照合されます。対象範囲外のイベントには、リアルタイムの評価と同様に、該当なしの回答が記録されます。

開始日と終了日の下には、その期間のイベント数が発生元別に表示されます。GitHub リポジトリ、Zendesk ヘルプセンター、Crowdin プロジェクト、Lingo.dev ごとに集計され、記録に発生元が指定されていないイベントは発生元不明として表示されます。集計対象は、バックフィルで読み取るイベントです。具体的には、測定で有効になっているイベント種別に属し、ペイロードが保存されているイベントを、条件で絞り込む前に数えます。条件に指定された言語、エンジン、発生元の範囲外にあるイベントも件数に含まれ、回答は該当なしになります。測定がオフの間、件数は表示されません。

イベントの内容を確認できる短い期間を選んでください。ペイロードに、評価基準で必要となる原文、訳文、下書き、コンテキストが含まれていることを確認します。用語集やルールの遵守を確認する場合は、ローカライゼーションエンジンに現在設定されている関連ガイダンスも保存してください。これらの評価では、生成時のコンテキストを再現するのではなく、評価の実行時に紐付けられている用語とルールを読み取ります。

期間の選択には、記録済みのeventAtの値が使われます。Crowdin の承認では提案の作成日時が使われるため、承認日より前の日時になる場合があります。期間を選ぶ際は、イベントのタイムスタンプを確認してください。承認を受信した日だけを選ぶと、そのイベントが対象から外れる場合があります。

以前の回答を保持するか置き換えるかを選ぶ #

未測定のイベントのみは既定でオンになっています。期間内の既存の回答は保持され、回答がないイベントだけが測定されます。該当なしの回答も測定済みとして扱われ、そのまま保持されます。

現在の定義で期間全体を再測定するには、この設定をオフにします。この場合、開始時にこの期間を再測定しますか?と確認されます。期間内にあるその測定の以前の回答を先に削除し、イベントの測定が進むにつれて、新しい回答を書き込むためです。

置き換える前に以前の回答を保存する

未測定のイベントのみをオフにすると、選択した期間内にある、その測定のすべての回答が削除対象になります。現在は選択されていないイベント種別やロケールの回答も含まれます。比較に必要な以前の定義と結果は、先に保存してください。ペイロードがスキップされたり、置き換えに失敗したりすると、以前は回答があった箇所が空白になる場合があります。

期間を限定して評価を開始する #

  1. 測定のバックフィルタブを開きます。
  2. 開始日と終了日を設定します。選択した開始日と終了日は、どちらも UTC の日付として評価期間に含まれます。今日より後の日付は指定できません。同じ日を選ぶと、その日だけが評価されます。
  3. 未測定のイベントのみをオンのままにするかどうかを決めます。
  4. バックフィルを開始を選択し、回答を置き換える場合は確認に応じます。
  5. 測定済みのイベント数とともに表示される進捗を確認します。状態はバックフィル中から、バックフィル完了またはバックフィル失敗に変わります。バックフィルは、各ページの隅にあるバックグラウンドジョブのドックにも待機中のジョブとして表示されます。どちらを選択しても進捗を開けます。

開始処理の基本仕様はPOST /v2/organizations/:orgId/measurements/:measurementId/backfillです。ISO 形式のタイムスタンプを使用し、fromは境界を含み、toは境界を含みません。from < toとunmeasuredOnlyが必須です。API では、unmeasuredOnlyの既定値はfalseで、既存の回答が置き換えられます。回答を保持するにはtrueを送信してください。UTC の1日を対象にする場合、期間はその日の午前0時から翌日の午前0時までです。画面では、指定した終了日も含まれるよう、終了境界をその翌日の午前0時に変換します。応答は HTTP 202 で、非同期実行のidが返されます。同じ測定のバックフィルが実行中の場合、2つ目のバックフィルは拒否されます。GET /v2/organizations/:orgId/backfillsは最近の実行を一覧表示し、status=running&startedBy=meはその一覧を、自分が開始した実行中のものに絞り込みます。

新しい回答を照合する #

処理ではイベントをページ単位で読み取り、保存済みのペイロードを利用できるイベントの測定だけをキューに入れます。バックフィルの完了は、対象イベントの測定が完了したことを意味しますが、各回答には個別の処理結果が記録されます。バックフィルによる実行は、条件によってスキップされた回答を除き、リアルタイムの実行と同様に利用量として計上されます。バックフィルの回答からローカライゼーションエンジンの提案が生成されることはありません。

選択したイベントと結果を確認してください。結果の履歴にはバックフィル実行の識別情報が表示されないため、イベントの識別情報、測定の識別情報、イベントの期間、計算時刻を照合します。返された行だけで完了を判断せず、回答があるはずなのに見つからないイベントも照合対象に含めてください。

新たに該当なしとなった回答は、一つずつ理由を確認してください。条件による対象の選別、根拠情報の不足、適用できるガイダンスがないこと、判定側で明確な回答を出せないことなどが考えられます。実行に失敗した場合と、評価対象の翻訳に原文がない場合とでは、必要な対処が異なります。

置き換えられる履歴とは別に比較用の情報を保存する #

改訂した評価基準でエラーをより確実に検出できるかを調べる場合は、新旧の定義に加え、別途判定した事例とその結果を保存してください。翻訳が改善したかを調べる場合は、比較可能な条件で新旧両方の翻訳を保存してください。

バックフィルには、確立されたキャンセル操作や回答のロールバック操作がありません。結果が見つからない原因を調べるために、再実行を重ねることは避けてください。まず、選択されたイベント、不足しているペイロード、返された回答を特定します。翻訳モデルの比較では、書き換わる履歴に頼らず、再現可能な試行を保存する方法を説明しています。