AI評価

Max PrilutskiyCEO 兼 共同創業者Updated 先月 · 1 min read

人によるレビュー後の編集を、エンジン設定に再び整合させます。

human review を有効にすると、翻訳者がドイツ語の文字列を手作業で修正します。それ自体はよいことです。ですが、その修正の中で、用語集の用語が気づかないうちに別の表現へ置き換わったり、ブランドボイスのルールで禁止されている文体が使われたり、エンジンのルールとは異なる言い回しになったりすることがあります。人の編集内容はその時点で正とされ、エンジンに維持させるよう調整していた設定を上書きしてしまいます。ポストエディット段階(postEdit)は、そのズレを埋めるための AI の工程です。人の編集を入力として受け取り、ジョブが完了する前に、エンジンの設定と再び整合するよう調整します。

text
postEdit  →  runs after humanEdit, reconciles its output to engine config

パイプラインが初めてなら、まずは Pipeline overview をご覧ください。

この段階の役割はそれだけで、とても限定的です。原文ではなく人の編集内容に対して働きかけ、結果を採点することもありません。人の出力を調整し、エンジン上の他のすべての翻訳と同じ glossaryブランドボイスrules に沿うよう整えるのが役割です。

調整される内容#

人の翻訳者は、エンジンにはない判断力を持ち込みます。たとえばニュアンス、文脈、不自然な表現の修正です。だからこそ human review 段階を有効にしているわけです。ただ、キューを処理する人がエンジン設定の全体像を常に把握しているとは限らないため、編集によってエンジンレベルのルールと食い違う揺れが入り込むことがあります。ポストエディットは、その両方を損なうことなく整合させます。

この処理では、人の出力をエンジン設定の 3 つのレイヤーに照らし合わせ、それらに合うようテキストを調整します。

  • Glossary – ソース用語を各ロケールで厳密な訳語に対応付けるためのものと、決して翻訳してはならない用語です。人の編集で承認済みの用語が同義語に置き換えられていた場合、この処理で元に戻します。
  • Brand voice – エンジンが言語をまたいで一貫して保つトーンやレジスターです。フォーマルからカジュアルへぶれてしまった編集は、定義したブランドボイスに合わせて整えられます。
  • Rules – エンジンがすべての翻訳で常に従うルール。ここでも、新規翻訳と同じように人の編集に適用されます。

人の意図は残ります。変わるのは、他の翻訳全体が従っているルールと表現がぶつかった箇所だけです。remaining stages に引き継がれるのは、整合済みの人の編集です。

実行されるタイミング#

ポストエディット段階は human review が有効な場合にのみ利用できます。人の編集が入力だからです。編集がなければ整合させる対象がありません。ここで 2 つのポイントがありますが、特に意外に思われやすいのは 2 つ目です。

  • humanEdit に依存します。 エンジン設定では、human review が有効になるまで postEdit は有効化できません。まず human review を有効にしてください。ポストエディットはその出力を整合させます。
  • postEdit.enabled: true を有効にしていても、人の段階で出力がなければスキップされます。 human review はイベント駆動で、タイムアウトがあります。デフォルトは 48 時間です。タイムアウトすると、人の編集を経ずに AI 翻訳が最終結果になります。人の段階がタイムアウトしたり、何らかの理由でスキップされたりした場合は、整合させる編集がないため、ポストエディットもスキップされます。表示されるのは失敗ではなく、skipped のステップ記録です。

postEdit.enabled を設定したのに何も起きない?

最も多い理由は、人の段階で出力が生成されなかったことです。ポストエディットは人の編集に対してのみ動作します。human review がタイムアウトした(デフォルト 48h)かスキップされた場合、この段階で整合させるものはなく、postEdit.enabled の有無にかかわらずスキップされます。まずは人の段階の結果を確認してください。skippedhumanEdit ステップがあれば、同じ理由で postEdit もスキップされたことを意味します。こうしたステージごとの記録は Observe pipeline runs で確認できます。

AI評価者とは別物#

この段階を有効にする前に、ここは正しく押さえておく価値があります。名前は似ていますが、役割は正反対です。

AI評価者とは別物

ポストエディット段階は、翻訳出力を変更して エンジンのルールに合わせます。AI Reviewers は別機能で、出力を変更せずに非同期で翻訳品質をスコアリングします。一方はテキストを変え、もう一方は評価するだけで手を加えません。両方を併用することもできます。ポストエディットが人の編集を整合させ、その後で AI評価者 が整合後の結果を採点します。

人の編集をエンジンのルール内に収めたいなら、それはポストエディットです。これは出力そのものに作用します。翻訳には手を加えず、監視やレポートに使える品質シグナルが欲しいなら、それは AI Reviewers です。両者が答える問いは異なり、どちらか一方で他方の代わりにはなりません。

設定と可観測性#

ポストエディットはエンジンのパイプラインを構成する 1 段階で、他の段階と同様に切り替えられます。スキーマ上の項目は postEdit { enabled } で、humanEdit が有効でない限り有効化できないという常設ルールがあります。すべてのジョブで有効にするにはエンジンの Pipeline タブで設定し、単一の送信だけで有効にするにはリクエストの pipelineConfig に渡します。どちらのレイヤーでも、また postEdithumanEdit に結び付けるルールについても、Configure the pipeline に記載されています。

この段階が実行されると、ジョブの postEdit 配列に steps[] エントリとして表示されます。編集を整合させた場合は completed、人の段階から処理対象が渡されなかった場合は skipped です。ステップ記録の完全な形式と completed / failed / skipped の意味は、正規の案内ページである Observe pipeline runs にまとまっています。

次のステップ#