翻訳の問題をデバッグする

特定の表現の問題が、原文、配信、選択された指針、生成のどこに起因するかを突き止め、範囲を絞って修正と検証を行います。

想定外の翻訳が出たときは、ルールの適用範囲を広げる前に、まず原因を明らかにする必要があります。アプリケーションが古いカタログを読み込んだのかもしれませんし、原文が曖昧だったり、モデルが明確な意味を変えてしまったりした可能性もあります。低いスコアは調査すべき事例を見つける手がかりにはなりますが、こうした原因の違いまでは示しません。

原文と訳文のリビジョン、ロケール、コンテンツ識別子、意図された意味、実際の表現を記録しておきます。言語全体への漠然とした不満ではなく、具体的に調べられる一つの不具合から始めてください。

対象のテキストと意味を確認する #

アプリケーションが実際に読み込んだファイルやレコードを調べ、原文のリビジョンと照合します。古いコンテンツや別の言語へのフォールバックが原因の場合、配信の問題が生成エラーのように見えることがあります。

周辺のコンテンツと製品要件を確認します。「承認後に利用可能」という表現で、誰の承認が必要なのか不明な場合は、原文の担当者に確認して明確にしてください。原文を作成するチームがまだ定めていない製品方針を、翻訳の指針で決めてしまうことはできません。

元のリクエストの証拠を調べる #

リクエストの証拠、結果、またはアカウントのMCPツールを使い、確認可能な入出力、ローカライゼーションエンジン、実際に使われたモデルとフォールバック、実行状況、測定の判断根拠を調べます。送信したコンテキストとエンジン設定も、これらの記録と一緒に保管してください。モデルリクエスト画面には、過去のプロンプト全体が残っているわけではありません。ローカルのカタログの調査とアカウントの記録からは、それぞれ異なる証拠が得られます。

アシスタントには対象のレコードを正確に指定し、日付やロケールの範囲を絞って伝えます。次のページも順に調べ、一部のサンプルだけを確認した場合は、その旨を明示してください。トレース、費用の項目、原文のコンテキストが欠けている場合は、不明な情報として扱い、推測で埋めてはいけません。調査と許可された変更を切り分ける方法については、エージェントへの委任で説明しています。

考えられる原因を比較する #

考えられる原因判断の決め手となる証拠修正方法
誤った原文リビジョンやロケールの読み込み原文と訳文の識別情報、読み込み経路。同期またはアプリケーションのルーティングを修正する。
製品用語の曖昧さ定義、対象ロケールでの表現、コンテキスト、選択された用語。意味と適用範囲を定義する。
指針の矛盾適用されるルール、語り口、用語集、原文の要件。適用範囲を整理する。
コンテキストの不足リクエスト時に実際に参照できたヒントと周辺のコンテンツ。解釈を左右する情報を補う。
生成時に明確な要件が変わってしまった正確な入力、選択された指針、出力、フォールバックの証拠。出力を修正し、再発状況から必要と判断される場合は、範囲を限定してモデルや指示の変更を検証する。

指針が検索で取得されたことは、その指針が提供された証拠にはなりますが、指針に従った証拠にはなりません。測定の判断根拠も確認が必要です。モデルの識別情報、所要時間、トークン数、平均スコアだけでは、一つの文がそのように訳された理由は説明できません。

証拠に裏付けられた範囲で修正する #

フィードバックのトリアージで修正の担当を決めます。単発の修正は、その箇所だけにとどめても構いません。修正の理由を今後の作業にも適用すべきかどうかは、修正をルール化するかの判断で決めます。

共有の指針を変更する場合は、変更が保存されていることと、関連付けられたローカライゼーションエンジンを確認します。実際の実行ワークフローを通じて、範囲を限定した再実行を別途リクエストしてください。指針を適用しても、過去の翻訳がすべて再生成されるわけではありません。

変更すべきでない事例でも修正を検証する #

不具合のあった例と、変更の影響を受けるべきでない対照例を再実行します。可能性を示す表現が確約に変わってしまったことが問題なら、原文が実際に確約している箇所では、明確な確約を維持してください。すべての断定を弱めるような一律の指示では、一つの事例を直す代わりに別の事例を損なってしまいます。

返された訳文と、アプリケーションが読み込んだテキストを確認します。元の証拠、原因の仮説、修正内容、比較結果は、まとめて保管してください。出力が改善しても因果関係が不明なままなら、その旨を明示します。一度の再実行の成功が裏付けるのは、その事例での改善だけです。不具合が全般的に減ったと実測できたことにはなりません。