翻訳品質を、確かめる。
Y Combinatorが支援大量のコンテンツを管理する国際的なチームから信頼されています。
%20--%3e%3csvg%20version='1.1'%20id='Layer_1'%20xmlns='http://www.w3.org/2000/svg'%20xmlns:xlink='http://www.w3.org/1999/xlink'%20x='0px'%20y='0px'%20viewBox='0%200%20233.1%2072.2'%20style='enable-background:new%200%200%20233.1%2072.2;'%20xml:space='preserve'%3e%3cstyle%20type='text/css'%3e%20.st0{fill:%232a3631;}%20%3c/style%3e%3cg%3e%3cpath%20class='st0'%20d='M49.6,32.8c0.4-0.7,0.7-1.3,1.1-2c5.4-10.2,4.4-14.2,3.4-15.7c-1.3-1.8-4.3-2.7-9.2-2.7%20c-2.9,0-6.2,0.3-9.6,0.9c-0.6-3.1-1.5-5.9-2.4-8.1c-1.2-2.8-2.6-4.5-4.1-5.1C28.3,0.1,27.8,0,27.3,0C24,0,18.5,3.9,12.3,10.6%20C5.5,17.9,1.4,25,0.3,31.1c-1.1,5.9,0.5,13.8,8,18.5c0.7,1.6,1.7,2.9,2.9,4.1C14.7,57.2,20,59,26.8,59c6.4,0,14.5-1.8,21.6-4.8%20c3.4-1.4,6.3-3,8.3-4.6c2.4-1.8,3.7-3.7,3.8-5.4c0-1.6-0.9-3.3-2.8-5.3C55.8,37.1,53,34.9,49.6,32.8z%20M44.9,16.8%20c4,0,5.3,0.7,5.6,0.8c0.2,0.6,0.1,4.1-3.7,11.2c-0.3,0.6-0.6,1.2-1,1.8c-3-1.6-6.1-3-9.1-4.1c0-2.9-0.3-5.9-0.7-8.8%20C39.2,17.1,42.2,16.8,44.9,16.8z%20M36,36.5c0.3-1.7,0.5-3.5,0.6-5.4c2.3,0.9,4.7,2,6.9,3.2c-2.3,3.5-5,6.7-7.6,9.2%20c-1.1,1-2.2,2-3.3,2.8C34.1,43.7,35.3,40.5,36,36.5z%20M32.2,25.1c-3.5-1-6.8-1.5-9.7-1.5c-1.6,0-3.1,0.2-4.6,0.5%20c2.7-1.7,5.7-2.9,7.8-3.7c1.9-0.7,3.8-1.3,5.9-1.8C32,20.8,32.2,22.9,32.2,25.1z%20M7.8,28.5c-0.8,1.6-1.7,3.3-2,5l0,0.2%20c-0.2,0.9-0.6,3-0.1,5.8c-1-2.6-1.6-4.8-1-7.7c0.9-4.8,4.5-11,11.2-18.5c2.3-2.6,4.8-4.9,7-6.6c1.9-1.4,3.6-2.3,4.5-2.4%20c0.8,0.4,2.4,3.8,3.7,9.9c-5,1.2-9.7,3-13.5,5.1C12.9,21.9,9.7,24.9,7.8,28.5z%20M12.2,45.6c-1.4-2.1-2.1-4.7-2-7.8v0%20c0-1.3,0.7-4.9,2.9-7.1c1.8-1.8,5.1-2.8,9.4-2.8c2.8,0,6.1,0.6,9.7,1.6c-0.1,2.2-0.3,4.3-0.6,6.2c-1.6,9-5.3,13.6-10.9,13.6%20C18.4,49.4,14.1,48.4,12.2,45.6z%20M47,50c-6.7,2.9-14,4.6-20.1,4.6c-2.3,0-4.4-0.2-6.2-0.7c1.7,0.2,2.8,0.2,3,0.2%20c3.4,0,7.4-1.5,11.3-4.1c4.5-3.1,8.7-7.6,12.5-13.5c3,1.9,5.5,3.8,7.1,5.5c1.2,1.2,1.6,2,1.6,2.1C56,44.6,53.7,47.1,47,50z'/%3e%3cg%3e%3cpath%20class='st0'%20d='M110.8,2.3c-15.1,0-24.8,0-39.7,0c0,2,0,3.8,0,5.9c6.4,0,10,0,16.7,0c0,16.5,0,31.6,0,47.7c2.2,0,4.2,0,6.4,0%20c0-16.3,0-31.3,0-47.8c6.6,0,10.2,0,16.6,0C110.8,6,110.8,4.2,110.8,2.3z'/%3e%3cpath%20class='st0'%20d='M146.2,17h-6.3c0,4.1,0,7.8,0,11.5c0,3.7,0.1,7.4-0.1,11.2c-0.4,7.1-4.6,11.1-11.5,11.1%20c-6.9-0.1-11.1-4.1-11.5-11.1c-0.2-3.7-0.1-7.4-0.1-11.2c0-3.7,0-7.4,0-11.5h-6.3c0,1.5,0,2.8,0,4.2c0,5.9-0.1,11.8,0.1,17.6%20c0.1,2.6,0.4,5.3,1.3,7.7c2.4,6.3,8.5,10,16.1,10.1v0c0.1,0,0.2,0,0.3,0c0.1,0,0.2,0,0.3,0v0c7.7-0.2,13.8-3.8,16.1-10.1%20c0.9-2.4,1.2-5.1,1.3-7.7c0.2-5.9,0.1-11.7,0.1-17.6C146.2,19.8,146.2,18.5,146.2,17z'/%3e%3cpath%20class='st0'%20d='M229,24.3c-2.9-3.8-6.8-6.3-11.5-7.1c-6.9-1.3-13.2,0.1-18.5,5.8c-0.1-2.2-0.2-3.7-0.2-5.2c-2.2,0-4.1,0-6,0%20c0,18.3,0,36.3,0,54.4c2.1,0,4,0,6.1,0c0-7.1,0-13.9,0-21.2c10.2,7.6,20.7,7.7,28.2,0.5C234.3,44.5,235.1,32.4,229,24.3z%20M212.5,51.1c-8.1,0-14.1-6.1-14.1-14.4c0-8.1,5.9-14.1,14-14.2c8.2-0.1,14.2,6,14.2,14.2C226.7,45,220.7,51.1,212.5,51.1z'/%3e%3cpath%20class='st0'%20d='M156.9,55.9c2.1,0,3.9,0,5.9,0c0-19.7,0-34.3,0-53.6c-2.1,0-3.9,0-5.9,0C156.9,21.9,156.9,36.5,156.9,55.9z'%20/%3e%3cpath%20class='st0'%20d='M174.9,56c2.1,0,3.9,0,5.9,0c0-13,0-25.6,0-38.2c-2.1,0-4,0-5.9,0C174.9,30.6,174.9,43.2,174.9,56z'/%3e%3cpath%20class='st0'%20d='M177.7,2.3c-2.1,0.1-3.8,1.8-3.8,3.8c0,2,1.8,3.8,3.8,3.8c2.2,0,4-1.7,4-3.9C181.8,3.9,180,2.3,177.7,2.3z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
01 / 詳しく見る
翻訳品質を測定
人と大規模言語モデルによる翻訳を、品質スコアカードに照らして監査します。言語別、翻訳プロバイダー別に品質を追跡できます。
01
意味の変化を見つけます。
情報の抜け、主張の追加、原文の意味を変える表現を確認。
- 原文原文の該当箇所
- 翻訳同じ文章を、翻訳済み
- 意味の変化言い回しによって主張が変わっている
- 情報の欠落翻訳で詳細が抜け落ちている
- 主張の追加原文には書かれていない
- 原文原文の該当箇所
- 翻訳同じ文章を、翻訳済み
- 意味の変化言い回しによって主張が変わっている
- 情報の欠落翻訳で詳細が抜け落ちている
- 主張の追加原文には書かれていない
02
普段お使いのツールにLingo.devをインストールしましょう。
翻訳管理システム、コンテンツ管理システム、GitHubなどと接続。独自の品質スコアカードに基づいて翻訳を継続的に監査します。
翻訳管理システムCMSGitHub
- 翻訳管理システム
- CMS
- GitHub
- チームの品質スコアカード接続されたすべてのツールを監査
- お使いのツール翻訳管理システム、コンテンツ管理システム、GitHubなど
- チームの品質スコアカード接続されたすべてのツールを監査
- お使いのツール翻訳管理システム、コンテンツ管理システム、GitHubなど
03
品質上の指摘が付いた箇所を詳しく確認。
各指摘事項の原文、翻訳、品質基準、理由を確認できます。
- 理由監査が指摘した理由
- 品質基準スコアカードのルール
- 翻訳指摘された表現
- 原文元の表現
- 品質上の指摘が一つ
- 理由監査が指摘した理由
- 品質基準スコアカードのルール
- 翻訳指摘された表現
- 原文元の表現
- 品質上の指摘が一つ
04
監査の指摘事項とチームのレビューを比較しましょう。
レビュアーが同意していない指摘事項や、レビュアーが報告したものの監査では指摘されなかった問題を確認しましょう。
- 監査の指摘事項チームのスコアカードに照らして
- チームによるレビュー同じ文章
- レビュアーの意見が不一致
- 監査のみが指摘
- 監査で未検出レビュアーが報告
- 監査の指摘事項チームのスコアカードに照らして
- チームによるレビュー同じ文章
- レビュアーの意見が不一致監査のみが指摘
- 監査で未検出レビュアーが報告
05
最も深刻な指摘事項から確認しましょう。
スコアカードの重大度ルールに基づいて、重大な誤りと軽微な問題を区別します。
- 軽微 · 次にレビュー
- これらの指摘事項は引き続き表示されます
- 重大 · 最優先でレビュールールに基づき優先
- 重大度のルール軽微な問題より重大な問題を先に
- 軽微 · 次にレビューこれらの指摘事項は引き続き表示されます
- 重大 · 最優先でレビュールールに基づき優先
- 重大度のルール軽微な問題より重大な問題を先に
06
製品の用語を確認。
承認済みの表記と異なる用語集の用語や製品名を見つけます。
- 用語集チームが用語を一つずつ承認
- 承認済みの表現この用法は用語集と一致しています
- 異なる用語翻訳で別の単語を使用
- 用語集チームが用語を一つずつ承認
- 承認済みの表現この用法は用語集と一致しています
- 異なる用語翻訳で別の単語を使用
07
ブランドボイスに照らして翻訳を確認。
トーンや文章作成ルールに反する表現を特定します。
- トーンと文章作成のルールチームが一度だけ作成
- 一貫していない表現この表現は一つのルールに違反しています
- トーンと文章作成のルールチームが一度だけ作成
- 一貫していない表現この表現は一つのルールに違反しています
08
関連するコンテンツ間の一貫性を確認。
文書やコンテンツ群の中で、一貫していない用語や名称を見つけます。
- 一つのコレクション関連文書
- 同じ名前各文書で使用する必要がある
- 一貫していない名称ある文書が別の文書を参照する
- 一つのコレクション関連文書
- 同じ名前各文書で使用する必要がある
- 一貫していない名称ある文書が別の文書を参照する
09
コンテンツごとに異なるスコアカードを適用できます。
製品のインターフェース、マーケティング、サポートを、コンテンツタイプごとの要件に照らして評価。
- 製品のインターフェース
- マーケティング
- サポート
- コンテンツの種類ごとのスコアカードそれぞれに固有の要件
- 製品のインターフェース
- マーケティング
- サポート
- コンテンツの種類ごとのスコアカードそれぞれに固有の要件
10
編集後に翻訳を再確認しましょう。
修正後のテキストの指摘事項を、前回の評価と比較しましょう。
- チームによる編集修正後のテキストを改めて評価
- 前回の評価記録として残る
- 新たな評価両方の評価を比較
- チームによる編集修正後のテキストを改めて評価
- 前回の評価記録として残る
- 新たな評価両方の評価を比較
既存のコンテンツ
Lingo.devは、チームが翻訳を保管している場所で、その翻訳を読み取ります。
01 / コードリポジトリ
開発者がリリースする文字列。
リリースがユーザーに届く前に、各コミットとプルリクエストの翻訳済み文字列を確認できます。
- ロケールファイル原文と翻訳
- コミット一つひとつの変更を順番に
- プルリクエストマージ前に確認
- ロケールファイル原文と翻訳
- コミット一つひとつの変更を順番に
- プルリクエストマージ前に確認
02 / コンテンツ管理システム
チームが管理するページ。
原文コンテンツと翻訳を、そのコンテンツの要件に結び付けて管理。
- 商品ページフィールドごとに連携
- サポート記事二つ目のエントリータイプ
- 共有コンテンツ両方で再利用
- 商品ページフィールドごとに連携
- サポート記事二つ目のエントリータイプ
- 共有コンテンツ両方で再利用
03 / メール配信プラットフォーム
お客様が読むメッセージ。
翻訳済みのキャンペーン、取引関連メッセージ、ライフサイクルに沿った一連の配信を、他のコンテンツと同じ品質基準で確認できます。
- キャンペーン言語ごとのバリエーション
- トランザクションメール領収書とアラート
- ライフサイクル配信シーケンス順番に送信されるメッセージ
- キャンペーン言語ごとのバリエーション
- トランザクションメール領収書とアラート
- ライフサイクル配信シーケンス順番に送信されるメッセージ
04 / 翻訳管理システム
チームが管理するワークフロー。
翻訳の作成、レビュー、承認は、チームが普段使っているシステムで続けられます。
- 翻訳言語の専門家から
- レビューレコードレビュアーから
- チームの要件一つのチェックが不合格
- 翻訳言語の専門家から
- レビューレコードレビュアーから
- チームの要件一つのチェックが不合格
05 / データベース
製品に保存されているレコード。
製品がデータを読み込むテーブル上で、翻訳済みレコードを原文と並べて確認できます。
- 翻訳済みフィールド言語ごとに一つの列
- 製品カタログ保管場所でチェック
- 原文レコード各行に原文を表示
- 翻訳済みフィールド言語ごとに一つの列
- 製品カタログ保管場所でチェック
- 原文レコード各行に原文を表示
06 / API
お使いのツールから翻訳を送信できます。
アプリケーションから原文と翻訳を送信して分析します。
- 原文元の文章
- 翻訳翻訳先言語の文章
- 分析両方をあわせて確認
- 指摘事項レビュー対象の文章
- 原文元の文章
- 翻訳翻訳先言語の文章
- 分析両方をあわせて確認
- 指摘事項レビュー対象の文章
数字で見るLingo.dev
300M+
処理した単語数
- 言語
- 100+
- Enterpriseの稼働率保証
- 99.99%
- モデル開発者
- 80
02 / よく見極めて選ぶ
次に改善することを決める
品質、レビュアーによる編集、コストを比較。利用するプロバイダーと、優先して対処する問題を判断できます。
01
次に試す改善を選びましょう。
繰り返し見つかる問題をもとに、用語、文脈の不足、翻訳指示のどれを調査すべきか判断します。
- 用語用語集と製品名
- 文脈の欠落翻訳者が知らなかったこと
- 翻訳の指示作業とともに送られるガイダンス
- 次のテストチームが検証する原因を一つ選択
- 繰り返し見つかる指摘事項繰り返し見つかる問題を、考えられる原因別に分類
- 用語用語集と製品名
- 文脈の欠落翻訳者が知らなかったこと
- 翻訳の指示作業とともに送られるガイダンス
- 次のテストチームが検証する原因を一つ選択
- 繰り返し見つかる指摘事項繰り返し見つかる問題を、考えられる原因別に分類
02
大規模言語モデルによる翻訳の活用範囲を決めましょう。
言語とコンテンツの種類ごとに、人と大規模言語モデルの翻訳結果をチームの要件に照らして比較しましょう。
- LLM
- 人間
- LLM
- LLM
- 人間
- 人間
- LLM
- LLM
- LLM
- ドイツ語
- 日本語
- ポルトガル語
- インターフェース
- マーケティング
- サポート
- チームの要件言語別・コンテンツタイプ別
- 大規模言語モデルによる翻訳が適合大規模言語モデルの翻訳結果が基準を満たす
- 人による翻訳
- チームがここで管理
| インターフェース | マーケティング | サポート | |
|---|---|---|---|
| ドイツ語 | LLM | 人間 | LLM |
| 日本語 | LLM | 人間 | 人間 |
| ポルトガル語 | LLM | LLM | LLM |
- チームの要件言語別・コンテンツタイプ別
- 大規模言語モデルによる翻訳が適合大規模言語モデルの翻訳結果が基準を満たす
- 人による翻訳チームがここで管理
03
翻訳とレビューのコストを比較。
品質と、記録された翻訳・レビュー・修正の費用を比較検討します。
- 品質監査結果
- 記録された費用
- 翻訳、レビュー、修正
- チームが両方を比較検討
- 品質監査結果
- 記録された費用翻訳、レビュー、修正
- チームが両方を比較検討
04
切り替える前に、翻訳プロバイダーを評価しましょう。
条件をそろえたコンテンツをチームのスコアカードで評価し、候補のプロバイダーと現在のプロバイダーを比較しましょう。
- 条件をそろえたコンテンツ
- チームのスコアカード両方に同じ評価基準
- 現在のプロバイダー
- 候補のプロバイダーまずチームが両方を比較
- 条件をそろえたコンテンツ
- チームのスコアカード両方に同じ評価基準
- 現在のプロバイダー
- 候補のプロバイダーまずチームが両方を比較
05
変更の必要性を根拠で示しましょう。
試験導入と現在のプロセスを、品質、レビュアーの編集、費用の面で比較し、チームに示しましょう。
- 品質
- レビュアー
- 編集
- コスト
- 試験同じコンテンツを使用
- 現在のプロセス
- 品質
- レビュアー編集
- コスト
- 試験同じコンテンツを使用
- 現在のプロセス
06
レビュアーが何を変更するかを確認しましょう。
翻訳が編集される頻度とテキストの変更量を、言語別・プロバイダー別に追跡します。
ドイツ語日本語ポルトガル語
- ドイツ語
- 日本語
- ポルトガル語
- テキストの変更量積み重なりが高いほど編集が多い
- レビュアーによる編集レポートで言語別・プロバイダー別に編集を集計
- テキストの変更量積み重なりが高いほど編集が多い
- レビュアーによる編集レポートで言語別・プロバイダー別に編集を集計
07
対象の問題が再発していないか確認します。
用語集、指示、レビュープロセスの変更を通じて、チームが対処した誤りを追跡。
- チームによる変更用語集、指示、レビューの更新
- 対象とする一つの誤り
- 変更前に見つかった問題
- 変更後も残る同じ誤りチームが再発の有無を確認
- チームによる変更用語集、指示、レビューの更新
- 対象とする一つの誤り変更前に見つかった問題
- 変更後も残る同じ誤りチームが再発の有無を確認
08
プロバイダーに具体的なフィードバックを提供。
プロバイダーに品質問題への対応を依頼するときは、繰り返し見つかる指摘事項と該当箇所を共有しましょう。
- 繰り返し見つかる指摘事項チームが解決したい問題
- 該当箇所
- すべての例とその原文
- 利用中のプロバイダー具体的な根拠を受け取る
- 繰り返し見つかる指摘事項チームが解決したい問題
- 該当箇所すべての例とその原文
- 利用中のプロバイダー具体的な根拠を受け取る
09
言語ごとの支出とコンテンツの利用状況を比較。
言語別の翻訳費用と読者数を使って、提案する予算の根拠を説明しましょう。
ドイツ語日本語ポルトガル語韓国語
- ドイツ語
- 日本語
- ポルトガル語
- 韓国語
- 翻訳への支出言語ごとのコスト
- 読者数各言語を読む人
- 翻訳への支出言語ごとのコスト
- 読者数各言語を読む人
10
スコアカードがいつ変化したかを確認します。
スコアの変化を解釈する前に、各レポートの基準と重み付けを確認しましょう。
- ここでスコアカードが変更されました変更前後のスコアは分けて確認
- 評価基準と重み各レポートで使用したバージョン
- 時系列順のレポート
- ここでスコアカードが変更されました変更前後のスコアは分けて確認
- 評価基準と重み各レポートで使用したバージョン
- 時系列順のレポート
お客様の事例から
Lingo.devを利用するお客様の声をご紹介します。
「目指す品質、翻訳すべき内容、届けたい相手。その知識は、私たちの手元に残ります。」
Annika Palm
ローカライゼーションエンジニア、SoSafe
「調整が必要なときは、これまでに利用したどのベンダーよりも速く修正してくれました。」
Keith Williams
エンジニアリング責任者、Cal.com
「ローカライズに伴う複雑な課題を、隅々まで考え抜いていることがよくわかりました。特に、私たちが苦労していたMDXファイルについてはそう感じました。」
Iuliia Shnai
創業者、Papermark
「プラットフォームを実際に開発しているエンジニアと、共通のSlackチャンネルでやり取りしています。」
Nick Bazley
スタッフプロダクトマネージャー、Laurel
「共同創業者の彼女は、問題を理解しただけではありません。わずか数日で解決策を届けてくれました。」
Sebastiaan van Leeuwen
プロダクトマネージャー、Truely
「しかも、チームの体制上、インフラストラクチャを構築しているエンジニアと直接話せます。特殊なケースも、その日のうちに解決してくれます。」
Max Höffner
プロダクトエンジニアリング責任者、SoSafe
「Lingo.devのおかげで、自社の技術環境の中で、API、MCP、CLIから動かせるローカライゼーションエンジンを手に入れました。」
Clément Champau
最高経営責任者兼共同創業者、Scribe
「雇用されている人たちが本当に重要なことに集中できるよう、プロセスを抜本的に見直すことをおすすめします。」
Sheree Foltin
コンテンツエンジニアリングチームリーダー、SoSafe
「以前は、翻訳の同期を保つことをいつも気にかけていました。今は機能開発に集中するだけで、ローカライゼーションは自動で進みます。」
Quentin Decré
共同創業者、Jarvi
03 / 研究を探る
対象言語の大規模言語モデルを比較
Lingo.devの翻訳ベンチマークを確認。自分たちのコンテンツで試す価値のあるモデルを選びましょう。
01
言語ペア別にモデルのランキングを比較しましょう。
翻訳元と翻訳先の言語で、最も優れたベンチマーク結果を探す。
英語 → 日本語英語 → ドイツ語フランス語 → 英語英語 → ポルトガル語
- 1 · モデルＣこの言語ペアで最も優れた結果
- 2 · モデルＡ
- 3 · モデルＤ
- 英語 → 日本語
- 英語 → ドイツ語
- フランス語 → 英語
- 英語 → ポルトガル語
- 対象の言語ペア調査ではこの言語ペアのモデルを順位付け
- 研究の評価基準公開調査で設定
- 公開済みの研究言語ペアごとに一つのランキング。各ランキングは、その言語ペアにのみ適用されます。
- 1 · モデルＣこの言語ペアで最も優れた結果
- 2 · モデルＡ
- 3 · モデルＤ
- 対象の言語ペア調査ではこの言語ペアのモデルを順位付け
- 研究の評価基準公開調査で設定
- 公開済みの研究言語ペアごとに一つのランキング。各ランキングは、その言語ペアにのみ適用されます。
02
コンテンツの種類に合った候補を選びましょう。
製品のインターフェース、マーケティング、サポートなど、研究対象のコンテンツでモデルの性能を比較しましょう。
1 · A2 · C3 · Ｂ1 · C2 · B3 · Ａ1 · Ｂ2 · Ａ3 · C
- 1 · A
- 2 · C
- 3 · Ｂ
- 製品のインターフェース
- 1 · C
- 2 · B
- 3 · Ａ
- マーケティング
- 1 · Ｂ
- 2 · Ａ
- 3 · C
- サポート
- タイプごとに一つのランキングモデルの順位が変わる
- 製品のインターフェース
- マーケティング
- サポート
- タイプごとに一つのランキングモデルの順位が変わる
03
品質とモデルの料金を比較。
低コストモデルと高コストモデルで、ベンチマーク結果がどう異なるかを確認しましょう。
ABCD
- A
- B
- C
- D
- 低コストのモデル
- 高コストモデル段階ごとに費用が増加
- ベンチマーク結果各列が一つのモデル
- 低コストのモデル
- 高コストモデル段階ごとに費用が増加
- ベンチマーク結果各列が一つのモデル
04
モデルの更新で何が変わるかを確認。
モデルのバージョン変更前後で翻訳品質を比較しましょう。
- 更新後モデルの新バージョン
- 更新前前のバージョン
- 同じテストセット調査では文章を比較
- 一つの箇所が悪化別の項目は改善
- 更新後モデルの新バージョン
- 更新前前のバージョン
- 同じテストセット調査では文章を比較
- 一つの箇所が悪化別の項目は改善
05
各モデルがどこで間違えるかを把握。
ベンチマークの出力で繰り返し見つかる、意味、用語、トーンのエラーを確認しましょう。
- 意味の誤り意味が変わる
- 用語の誤り製品用語が間違っている
- トーンの誤りトーンがブランドに合っていない
- ベンチマーク
- 出力一つのモデルから
- 選択したモデル
- ベンチマークが示すこと
- 繰り返す誤り
- 意味の誤り意味が変わる
- 用語の誤り製品用語が間違っている
- トーンの誤りトーンがブランドに合っていない
- ベンチマーク出力一つのモデルから
- 選択したモデルベンチマークが示すこと繰り返す誤り
06
ベンチマークレポートの全文を読む。
各調査の指摘事項、品質基準、ランキングの根拠となる例を確認しましょう。
123
- 1
- 2
- 3
- 指摘事項
- 研究でわかったこと
- 品質基準
- 調査での品質評価方法
- 例
- 各結果の根拠となる箇所
- ランキング
- 調査で報告された順位
- 指摘事項研究でわかったこと
- 品質基準調査での品質評価方法
- 例各結果の根拠となる箇所
- ランキング調査で報告された順位
07
人間と大規模言語モデルのベンチマーク結果を比較しましょう。
同じ素材を翻訳し、共通の基準で評価した結果を確認。
- 人による翻訳
- 大規模言語モデルによる翻訳
- 共通の基準両方に同じルール
- 同一の素材両方に同じ原文
- 人による翻訳
- 大規模言語モデルによる翻訳
- 共通の基準両方に同じルール
- 同一の素材両方に同じ原文
08
製品のコンテキストが翻訳にどう影響するかを確認しましょう。
関連する文脈情報の有無によってモデルの出力がどう変わるか、比較した調査を読みましょう。
- 製品のコンテキスト用語、画面、対象ユーザー
- コンテキストなし
- モデルが用語を推測
- コンテキストあり調査では両方の出力を比較
- 空き枠文脈の指定なし
- 製品のコンテキスト用語、画面、対象ユーザー
- コンテキストなしモデルが用語を推測
- コンテキストあり調査では両方の出力を比較
- 空き枠文脈の指定なし
09
レビュアーによる修正をモデル間で比較します。
レビュアーが翻訳を変更する頻度や、表現の変更量に関する調査を読みましょう。
- モデルA
- モデルB
- モデルC
- 編集回数レビュアーの編集一つにつき一つのブロック
- レビュアーによる修正表現の変更量
- モデルA
- モデルB
- モデルC
- 編集回数レビュアーの編集一つにつき一つのブロック
- レビュアーによる修正表現の変更量
10
モデルの一貫性を確認します。
繰り返しの翻訳や異なる文章で生じるばらつきを確認。
- 結果が異なる実行5回中2回の実行で一つの節が変わる
- 別の箇所五回の実行で同じ表現
- 5回の実行
- 一つのモデル
- 結果が異なる実行5回中2回の実行で一つの節が変わる
- 別の箇所五回の実行で同じ表現
- 5回の実行一つのモデル
進行中の研究
モデルがどのように翻訳するかを研究しています。
データに基づくローカライゼーションへ。
チームがすでにレビューした翻訳から始めましょう。