翻訳の問題をデバッグする
特定の表現の問題が、原文、配信、選択された指針、生成のどこに起因するかを突き止め、範囲を絞って修正と検証を行います。
想定外の翻訳が出たときは、ルールの適用範囲を広げる前に、まず原因を明らかにする必要があります。アプリケーションが古いカタログを読み込んだのかもしれませんし、原文が曖昧だったり、モデルが明確な意味を変えてしまったりした可能性もあります。低いスコアは調査すべき事例を見つける手がかりにはなりますが、こうした原因の違いまでは示しません。
原文と訳文のリビジョン、ロケール、コンテンツ識別子、意図された意味、実際の表現を記録しておきます。言語全体への漠然とした不満ではなく、具体的に調べられる一つの不具合から始めてください。
対象のテキストと意味を確認する #
アプリケーションが実際に読み込んだファイルやレコードを調べ、原文のリビジョンと照合します。古いコンテンツや別の言語へのフォールバックが原因の場合、配信の問題が生成エラーのように見えることがあります。
周辺のコンテンツと製品要件を確認します。「承認後に利用可能」という表現で、誰の承認が必要なのか不明な場合は、原文の担当者に確認して明確にしてください。原文を作成するチームがまだ定めていない製品方針を、翻訳の指針で決めてしまうことはできません。
元のリクエストの証拠を調べる #
リクエストの証拠、結果、またはアカウントのMCPツールを使い、確認可能な入出力、ローカライゼーションエンジン、実際に使われたモデルとフォールバック、実行状況、測定の判断根拠を調べます。送信したコンテキストとエンジン設定も、これらの記録と一緒に保管してください。モデルリクエスト画面には、過去のプロンプト全体が残っているわけではありません。ローカルのカタログの調査とアカウントの記録からは、それぞれ異なる証拠が得られます。
アシスタントには対象のレコードを正確に指定し、日付やロケールの範囲を絞って伝えます。次のページも順に調べ、一部のサンプルだけを確認した場合は、その旨を明示してください。トレース、費用の項目、原文のコンテキストが欠けている場合は、不明な情報として扱い、推測で埋めてはいけません。調査と許可された変更を切り分ける方法については、エージェントへの委任で説明しています。
考えられる原因を比較する #
| 考えられる原因 | 判断の決め手となる証拠 | 修正方法 |
|---|---|---|
| 誤った原文リビジョンやロケールの読み込み | 原文と訳文の識別情報、読み込み経路。 | 同期またはアプリケーションのルーティングを修正する。 |
| 製品用語の曖昧さ | 定義、対象ロケールでの表現、コンテキスト、選択された用語。 | 意味と適用範囲を定義する。 |
| 指針の矛盾 | 適用されるルール、語り口、用語集、原文の要件。 | 適用範囲を整理する。 |
| コンテキストの不足 | リクエスト時に実際に参照できたヒントと周辺のコンテンツ。 | 解釈を左右する情報を補う。 |
| 生成時に明確な要件が変わってしまった | 正確な入力、選択された指針、出力、フォールバックの証拠。 | 出力を修正し、再発状況から必要と判断される場合は、範囲を限定してモデルや指示の変更を検証する。 |
指針が検索で取得されたことは、その指針が提供された証拠にはなりますが、指針に従った証拠にはなりません。測定の判断根拠も確認が必要です。モデルの識別情報、所要時間、トークン数、平均スコアだけでは、一つの文がそのように訳された理由は説明できません。
証拠に裏付けられた範囲で修正する #
フィードバックのトリアージで修正の担当を決めます。単発の修正は、その箇所だけにとどめても構いません。修正の理由を今後の作業にも適用すべきかどうかは、修正をルール化するかの判断で決めます。
共有の指針を変更する場合は、変更が保存されていることと、関連付けられたローカライゼーションエンジンを確認します。実際の実行ワークフローを通じて、範囲を限定した再実行を別途リクエストしてください。指針を適用しても、過去の翻訳がすべて再生成されるわけではありません。
変更すべきでない事例でも修正を検証する #
不具合のあった例と、変更の影響を受けるべきでない対照例を再実行します。可能性を示す表現が確約に変わってしまったことが問題なら、原文が実際に確約している箇所では、明確な確約を維持してください。すべての断定を弱めるような一律の指示では、一つの事例を直す代わりに別の事例を損なってしまいます。
返された訳文と、アプリケーションが読み込んだテキストを確認します。元の証拠、原因の仮説、修正内容、比較結果は、まとめて保管してください。出力が改善しても因果関係が不明なままなら、その旨を明示します。一度の再実行の成功が裏付けるのは、その事例での改善だけです。不具合が全般的に減ったと実測できたことにはなりません。