品質を、理解できるものに

意味の変化を見える形にし、測定できるようにする。それが私たちの責任です。ローカライゼーションチームが、自らの基準に基づいて行動できるように。

ローカライゼーションチームは、自分たちの翻訳の品質を理解できるべきです。母語話者でも、専門分野ならではのニュアンスを見落とすことがあります。高価なモデルでも、質の低い文章を生成することがあります。測定で明らかにすべきなのは、翻訳によって意味がどう変わったかです。明確だった用語がどこで曖昧になったのか、可能性を示す表現がどこで約束に変わったのか、重要な条件がどこで抜け落ちたのか。さらに、こうした変化がどれほどの頻度で起き、どの言語に影響しているのかも示す必要があります。

こうした理解が重要なのは、チームが、すべての言語で自ら読めるわけではないコンテンツに責任を負っているからです。読者が取るべき行動を正しく理解し、意図した主張を信じてくれるか。その問いに答えるうえで、全体として流暢だという印象だけでは、ほとんど役に立ちません。役立つ測定とは、翻訳された言葉と、書き手がその言葉で果たそうとした目的とを結び付けるものです。

執筆時の判断を引き継ぐ #

書き手はコンテンツを推敲するとき、何を説明すべきか、何を前提としてよいか、どの論拠なら読者を説得できるかを判断します。条件や留保を添えることで、主張は正確になります。慎重に選んだ用語が、製品に関する二つの概念を区別することもあります。控えめな表現の一文が、根拠を誇張せずに信頼を得ることもあります。

翻訳では、こうした判断を別の言語にも引き継ぐ必要があります。文の構造が大きく変わっても、意味の正確さは保てます。一方で、なじみのある言葉や滑らかな表現に、書き手の主張の変化が隠れていることもあります。用語の一致を数えたり、自然さだけを評価したりしても、この違いは説明できません。

私たちは、チームの要件を測定の土台に据えます。要件は、言葉と、コンテンツが果たすべき役割を結び付けるものです。製品の知識があれば、読者にどのような行動を求めているかが分かります。言語の専門知識があれば、読者がどう理解するかを見通せます。ソフトウェアは、こうした知見をつなぐものであるべきです。それぞれの知見を別の人が持っている場合には、特にその役割が重要になります。

測定の中身を検証できるようにする #

品質スコアは、何を、どのように確認し、その結果をどう集約したのか、分かりやすく説明できるものであるべきです。チームには、自分たちのコンテンツで重視することに合わせて、評価基準を定められる手段が必要です。

これは、私たちの取り組みにも高い水準を求めます。問題を指摘するなら、該当箇所を特定し、どのような変化が疑われるのかを説明しなければなりません。測定手法は、許容できる言い換えと意味の欠落を区別できる必要があります。レポートは、その結論が、選び出した少数の事例についてなのか、代表性のあるサンプルについてなのか、それとも測定対象全体についてなのかを示す必要があります。こうしたつながりがなければ、チームは数値を受け取る一方で、その意味を解き明かす作業まで引き受けることになります。

測定そのものも、検証される必要があります。誤検出は、専門性を持つ評価者の注意を、本当の問題からそらしかねません。平均スコアが改善していても、条件の見落としが重大な意味を持つことがあります。測定の仕組みは、チームが理解している事例で検査の働きを試し、判断が分かれた箇所を調べ、見逃された誤りと、問題がないのに指摘された文章とを区別できるものであるべきです。この二種類の間違いでは、もたらす影響が異なります。全体の一致率にまとめてしまうと、その業務で重要な間違いが見えなくなるおそれがあります。

指摘を、役立つ判断につなげる #

品質レポートを見ても、ローカライゼーションの責任者が何を直すべきか推測しなければならない。それでは不十分です。どの箇所がチームの要件を満たしていないのか、どの問題が繰り返し起きているのかを示す必要があります。

見えてきた傾向によって、必要な対応は変わります。誤訳された文には修正が必要です。曖昧さが繰り返されるなら、製品の背景情報を充実させる必要があるかもしれません。用語の不統一から、用語集の項目同士の矛盾が見つかることもあります。特定の言語ペアに誤りが集中していれば、提供元やモデルを詳しく比較する根拠になります。この四つをすべて低スコアとして扱うと、チームが実際に向き合うべき選択肢が見えなくなります。

私たちの役割は、そうした選択に根拠を役立てられるようにすることです。提供元を比較するには、双方に同じコンテンツと基準を用い、重要な言語を検証できるだけの範囲を網羅する必要があります。レポートでは、繰り返し起きる問題と、サンプルの違いによって生じた差を区別し、平均値に埋もれかねない重大な指摘も残さなければなりません。そうすればチームは、確認された違いを、自分たちのコンテンツ、予算、責任に照らして検討し、なぜそのトレードオフを受け入れられるのかを説明できます。

業務が変わっても、品質を理解し続ける #

新しいモデルの導入、用語集の改訂、扱うコンテンツの構成の変化によって、結果は変わります。役立つ測定には、そうした変化を解釈できることが欠かせません。一方には難易度の高い新たな言語が含まれ、もう一方は慣れた内容を対象としている場合、平均値を二つ並べるだけでは不十分です。比較の間に誤りの定義が変わっている場合も同様です。保存しておいた事例を両方の定義で再確認すれば、測定方法の変化と翻訳の変化を切り分けやすくなります。結論を出せなかった事例を言語別に報告することで、比較の根拠がまだ足りない部分も分かります。

私たちは、ローカライゼーションのインフラストラクチャは、要件、検証した文章、得られた根拠のつながりを保つものであるべきだと考えています。このつながりがあれば、チームは作業量の増加を品質の向上と取り違えることなく、繰り返しの業務から学べます。意見の相違も、建設的な検討につながります。スコアを信頼すべきかどうかを議論するのではなく、同じ箇所を同じ基準に照らして検証できるからです。

測定設計ガイドでは、この考え方を実践的な手法に落とし込んでいます。目指すのは、自分たちの仕事の品質を説明し、注意を向けるべき問題を見つけ、根拠を明確に把握したうえで何を変えるかを選べるローカライゼーションチームです。