測定

翻訳が伝える意味を検証し、繰り返し起こる品質上の問題を見つけ、検証の根拠がどこまでのコンテンツをカバーしているかを把握します。

自然に読める翻訳でも、書き手の意図が変わっていることがあります。明確だった用語が曖昧になったり、可能性が約束に変わったり、条件が抜け落ちたりすることもあります。品質測定を行えば、チーム全員が読めるわけではない言語でも、こうした違いを検証できます。

Lingo.devでは、ここで生成した翻訳にも、他で作成した翻訳にも、定義したチェックを実行できます。用語や文章表現の要件、草稿と編集後の文章の違いなどがチェックの対象になります。結果を役立てるには、何を検証したのか、その結果が何を意味するのか、どの翻訳に対する結果なのかを、読み手が確認できることが大切です。

変えてはいけない内容から考える #

原文が伝えているのは、置き換えるべき単語だけではありません。何が、どのような条件で起こり、どれほど確実に期待できるのかも、読み手に伝えています。意味のチェックでは、こうした関係を検証する必要があります。原文と訳文に同じ製品名や数値が含まれていることを確認するだけでは不十分です。

たとえば、かもしれないとそうなるの違いで、可能性が確約に変わることがあります。この文について、用語のチェックと意味のチェックでは確認することが異なります。どちらも有用ですが、一方でもう一方を代えることはできません。

コンテンツにとって重要な問いを選びましょう。必要な検証材料は、その問いによって決まります。

品質に関する問いチェックに必要なもの
翻訳は原文の意味を保っているか?対になった原文と訳文、および曖昧な箇所を判断するための文脈。
製品用語を正しく使っているか?用語とその意図する意味、使用範囲、および適用対象の文章。
意図した語り口に沿っているか?語り口に関する具体的な要件と、想定する読者や状況。
レビュー担当者はどの程度変更したか?正しく対応付けられた、実際の草稿と編集後の文章。

最後の問いで測定するのは、編集がどの程度行われたかです。それだけでは、その編集で誤りが修正されたのか、文章が改善されたのかはわかりません。測定値を品質スコアとして扱う前に、その定義を確認してください。

チェックの実行方法を選ぶ #

どこから始めるかによって、Lingo.devが検証材料を受け取る方法と、結果の表示先が決まります。測定のために、翻訳の作成をLingo.devへ移す必要はありません。

開始点ワークフローと結果
CrowdinCrowdinに接続し、イベント測定を選択します。機能の利用権限に応じて、検証材料と結果がRadarに表示されます。
ローカルファイルスコアラーとモデルを設定してlingo scoreを実行します。結果はローカルのファイルに書き込まれ、Radarには追加されません。
Lingo.devへのリクエスト対象のローカライゼーションエンジンで自動評価を有効にするか、測定条件でエンジンと言語ペアを選択します。ローカライゼーションが完了するたびに、結果がRadarに表示されます。

その他の外部ワークフローでは、まず、対応している方法で文章を渡せるようにしてください。翻訳の収集では、利用できる取り込み方法と、保持すべき情報を説明しています。カスタムチェックを定義しても、汎用のアップロード用エンドポイントが作成されるわけではありません。

収集済みのイベントには、組み込みの測定を使って、用語集の遵守や編集距離などの定義済みチェックを実行できます。カスタム測定では、組織独自の基準を定義できます。テスト用の操作を行う前に、選択したチェックを設定してください。すでに収集したイベントを検証するには、過去のイベントの評価を使用します。結果のないイベントだけを測定することも、指定期間を再測定することもできます。再測定すると、選択した期間におけるその測定の以前の結果が置き換えられるため、比較に必要な定義と結果を先に保存してください。

多くの結果に頼る前に、一つの結果を確かめる #

評価対象の文章と評価基準を並べて確認してください。説明や指摘事項を読み、それが指す表現と照らし合わせます。不合格の結果からは、チームが解決すべき具体的な問いが見える必要があります。表現によって、意図した行動が変わったのか。原文の時点で、その行動が曖昧だったのか。それとも、許容できる翻訳を評価者が誤解したのか。

その結果が、今確認している版に対するものかを確かめてください。評価後に誰かが訳文を編集していれば、以前の結果が示すのは編集前の文章についてです。また、結果を出せなかったチェックと、問題が見つからなかったチェックも異なります。結果では、利用可能な記録で、評価結果、検証材料の不足、評価の失敗がどのように区別されるかを説明しています。

一つの事例を詳しく調べることで、そのチェックが理解できるものかを確かめられます。まとまった翻訳全体で結果に頼る前に、既知の誤りと、自然な言い換えを含む許容できる翻訳を使ってテストしてください。良い文章を繰り返し問題として指摘するチェックは、余計な作業を生みます。重大な変更を見逃すチェックでは、問いへの答えが得られないままです。

問題の広がりを把握する #

次に確認するのは、問題がどのくらいの頻度で起こり、どの言語や種類のコンテンツに影響しているかです。どれだけの量を検証したかも併せて報告してください。結果が得られた翻訳がわずかしかない言語では、合格率が高くても、そこからわかることは限られます。

続いて、翻訳品質測定の設計で、評価基準を定義し、評価者をテストして、意味を読み取れる結果を算出しましょう。この方法は、個々の指摘を、レビューの優先順位付け、翻訳サービス提供元の比較、翻訳プロセスの変更にチームが活用できる根拠へとつなげます。そうした判断を下すのは、あくまでチームです。