翻訳モデルを比較する

同じ条件で翻訳を試し、その条件を記録。特定の用途における品質、コスト、結果が得られなかったケースを比較します。

モデル間の違いは、ある種類のコンテンツでは重要でも、別の種類では現れないことがあります。比較を役立てるには、何を判断したいのかを具体的にすることが大切です。対応する各言語で、製品がうたう内容を保ちながら、コストと失敗率を許容範囲に収められるのは、どの構成でしょうか。

例を選ぶ前に、何を判断するかを決める #

コンテンツの種類、対象言語、要件を明確にします。「購入手続きでお客様に約束している内容を、フランス語でも保てるのはどの構成か」という問いなら、具体的な判断につながる結果が得られます。コンテンツや言語の範囲を定めずにモデルを順位付けしても、その結果をどこに適用できるのかは説明できません。

判断したい内容に即して、代表的な例を、一般的なものと難しいものの両方から選びます。コンテンツに応じて、短い画面表示の文字列、多義的な用語、まとまった文章、プレースホルダー、意味の変化が大きな影響を及ぼす主張を含めます。対象となる各言語について、全体平均とは別に検証できるだけの例を確保してください。

原文のリビジョン、翻訳先ロケール、コンテキストを保存し、参照訳があれば併せて残します。参照訳が役立つのは、その位置付けと意図する意味が明らかな場合だけです。既存の翻訳が、そのまま正解になるわけではありません。妥当な解釈の一つをモデルの欠陥とみなす前に、原文の曖昧さを解消するか、曖昧であることを明示してください。

プロンプトや指針の調整には使わない、最終テスト専用の例を別に確保します。除外した例は、その判断基準に沿って記録します。不都合な結果が出た後で扱いにくい例を取り除くと、実験そのものが変わってしまいます。対象条件を満たす事例で原文の裏付けが欠けている場合は、証拠の不足として残してください。

比較する条件を保存する #

後から変更される可能性があるローカライゼーションエンジン名だけでなく、実際の設定内容、または後から取得できるリビジョンを保存します。各候補について、モデルとプロバイダーの識別子、フォールバックの順序、用語集、ルール、語り口、コンテキスト、形式のオプション、パイプラインとレビューポリシー、評価基準の定義を残してください。

モデルに関する仮説を検証するなら、それ以外の条件は一定に保ちます。指針に関する仮説なら、モデルを固定し、該当する用語集や指示を変更します。追加設定のないモデルと、十分に設定されたローカライゼーションエンジンを比較することで、運用上の問いに答えられる場合もあります。ただし、その差にはモデルの挙動だけでなく、コンテキストの違いも含まれます。

共有の指針は他の呼び出し元にも影響する可能性があるため、できるだけ独立した比較環境を使います。試行前に、比較の基準となる設定を確認し、変更内容を具体的に提案して必要な承認を得たうえで、実際に保存された内容を検証します。エージェントへの委任は、支援を受けて作業する際に、こうした権限の範囲を定めるのに役立ちます。

同じ条件で試行し、失敗した試みも残す #

同じ原文リビジョンと翻訳先ロケールを、明確に識別した各構成に送信します。出力はそのまま、試行の識別情報とともに保存します。実際に使われたモデルと、フォールバックの有無や内容も記録してください。フォールバックが成功しても、指定したモデルの翻訳性能を確認したことにはなりません。

再試行や出力が得られなかったケースも、記録に残します。最終的に成功した結果だけに黙って差し替えると、信頼性の低い構成でも、すべて完了したように見えてしまいます。同じ条件で行う試行の一部を繰り返し、ばらつきを調べてください。識別子を固定しても、毎回同じ出力が得られるとは限りません。

エージェントを使えば、選んだ同じ文字列を、承認済みの二つの構成で翻訳し、結果をまとめられます。既存設定の読み取りだけを許可するのか、翻訳の送信も許可するのか、共有設定の変更まで許可するのかを指定してください。一つの会話で二つの出力を示すだけでは、永続的な実験履歴や、統計的に妥当なA/Bテストにはなりません。

同じ基準で意味を評価する #

可能であれば、各出力をどのモデルが生成したかを明かす前に、評価基準を定めます。配送に関する約束なら、期限、営業日という条件、確約の強さが保たれていなければなりません。自然な翻訳でも、数字だけを保ち、到着しますを到着する可能性がありますに弱めていれば、約束の内容を変えたことになります。

許容できる言い換え、既知の誤り、証拠が不足している事例など、別途判定を確定した例を使い、評価者の判断基準を調整します。判定者と生成者の識別情報は区別してください。モデルが自身の出力を高く評価しても、独立した検証にはなりません。

判断に大きく影響する見解の相違は、適任のレビュアーに確認してもらい、可能な限りモデル名を伏せます。平均値を見る前に、実際の文章と要件を照らし合わせてください。品質に関する検出結果の検証は、欠陥が疑われる箇所の確認に役立ちます。測定設計では、対象条件、誤検出、見逃し、判定で答えられる範囲を定義します。

品質、カバレッジ、コストを併せて報告する #

選択した各項目を一行ずつ記録し、原文リビジョン、ロケール、候補、試行、実際の出力、評価、判明している実行コストを残します。対象条件を満たす事例、完了した評価、確定的な判定、判定が完了していない作業を報告してください。対象条件を満たすか不明な事例も、黙って除外せず、見える形で残します。

対象条件を満たし、確定的な判定が得られた事例について合格率を算出します。また、明示した対象母集団のうち、どれだけの範囲で確定的な判定が得られたかを報告します。判定不能のまま完了した評価は、完了数には含まれますが、裏付けのある品質判定にはなりません。成功した結果の履歴だけでは、選択されたものの評価に到達しなかった項目を、すべて復元することはできません。

結果を集計する前に、言語別、コンテンツ群別に分けて確認します。平均が高くても、少数ながら重要な群での深刻な失敗が隠れている場合があります。標本をどう選んだかも明示してください。既知の失敗例を集めた標本から、通常のリクエスト全般における欠陥率を求めることはできません。

コストと遅延は、同じ集計範囲で比較します。記録された再試行、フォールバック、追加の処理段階も含めてください。記録のないコストは不明、出力が得られていない作業は未完了として扱います。個々のリクエストの所要時間は、待機や配信を含むワークフロー全体の所要時間とは異なります。編集距離から、人の作業時間をどれだけ削減できたかを判断することもできません。こうした記録範囲については、コストで説明しています。

後から見直せる形で判断を残す #

報告書では、どの候補が、どのコンテンツと言語で、どの要件を満たしたのかを、カバレッジと運用コストとともに示します。適用範囲を限定した結論を、その根拠となる証拠に結び付けてください。結果から候補間の差が認められない場合は、無理に勝者を決めず、既存の構成を維持するか、不足している証拠を集めます。

入力、出力、設定のリビジョン、評価基準、試行の識別情報、確認済みの検出結果、除外事項を保存します。Radarの過去データの評価は、対象期間内の判定を置き換えるため、比較する二つの版を両方とも保存することはできません。

承認を受けた本番環境の変更を行う前に、比較の基準となる設定と、元に戻すための計画を残します。調整に使わず確保しておいた例を再確認し、アプリケーションが意図した出力を受け取っているか検証してください。コンテンツ、言語、要件が変わったら、結論を見直します。結果が示すのはテストした条件での実績であり、あらゆる状況に通用するモデルの推奨ではありません。