Как разработать метрику качества перевода

Превратите языковое требование в проверяемый критерий, откалибруйте ответы и покажите частоту и масштаб выявленных проблем.

Оценка качества полезна, когда можно объяснить, от чего она меняется. Если из перевода исчезло важное условие, метрика должна заметить потерю. Если та же мысль выражена естественнее, она должна признать такое отличие допустимым. Разработать метрику — значит описать эти различия достаточно чётко, чтобы их можно было проверить.

В этом руководстве мы пройдём путь от формулировки требования до калибровки и отчёта. Подход работает для переводов от подрядчика, из внутреннего пайплайна или из Lingo.dev. В результате вы получите метрику, которую другой человек сможет применить и интерпретировать в тех же условиях, а не число, смысл которого приходится объяснять автору.

Определите, какие изменения смысла важны #

Начните с того, какой эффект должен давать текст. Инструкция должна приводить к правильному действию. Утверждение — сохранять степень категоричности и оговорки. Термин продукта — обозначать то же понятие на другом языке. Формулировка «точный перевод» задаёт цель, но не раскрывает этих различий.

Рассмотрим степень уверенности и условия. В выражении может стать доступно после одобрения смысл несут и возможность, и требование одобрения, и связь между ними. Если перевести это как безусловное обещание, смысл утверждения изменится, даже если слова о доступности и одобрении останутся.

Критерий для проверки такого различия можно сформулировать так:

Пример критерия: сохранение утверждений и условий

Сравните утверждение в исходном тексте с утверждением в переводе. Проверьте, сохраняет ли перевод:

  • Степень уверенности или обязательности.
  • Каждое условие, которое ограничивает применимость утверждения.
  • Связь между условием и утверждением.

Допускайте другие формулировки и структуру предложений, если они сохраняют этот смысл. Если вы подозреваете ошибку, укажите фрагменты исходного текста и перевода и объясните, какое обязательство или условие изменилось. Если имеющегося текста недостаточно для сравнения, объясните, чего не хватает.

Критерий даёт модели-оценщику конкретные признаки для проверки, а специалисту — возможность обоснованно не согласиться с результатом. Расплывчатая просьба «проверить точность» оставляет и модели, и специалисту выбор собственного стандарта.

Определите охват проверки с учётом предстоящего решения. Чтобы находить утверждения, которым нужна более тщательная проверка, важно надёжно выявлять проблемы и понятно их описывать. Для сравнения поставщиков также нужны общая выборка и способ обобщить результаты. Для решения о публикации конкретного материала — требования именно к этому материалу. Одна и та же проверка может помочь с каждым из этих решений, но не принять все три самостоятельно.

Выберите текст, который можно оценить по этому критерию #

Определите единицу измерения. Для критерия выше это одно утверждение в исходном тексте и соответствующее утверждение в переводе с достаточным контекстом, чтобы понять условие. Храните вместе ИД материала, версию исходного текста, версию перевода и локаль. Правильный перевод старой версии исходного текста может показаться ошибочным при сравнении с новой.

Выбирайте материалы, в которых есть проверяемое смысловое различие. Название пункта навигации без утверждения не подпадает под этот критерий. Если засчитать его как успешную проверку, показатель улучшится, но ничего не скажет о сохранении степени уверенности или условий.

Нехватка данных — отдельная проблема. Если для выбранного утверждения нет соответствующего исходного текста, оно по-прежнему относится к оцениваемой работе, но сравнение пока невозможно. Отмечайте такие пробелы. Если непонятно, применим ли критерий, зафиксируйте неопределённость, а не исключайте материал без объяснений.

Добавляйте контекст, который может повлиять на ответ. Определение термина или правило продукта может снять неоднозначность, а посторонний текст — лишь отвлечь. Для проверки орфографии только в переводе нужно меньше данных, чем для сравнения смысла с оригиналом. Вопрос определяет, какие данные собирать.

Задайте каждому ответу чёткий смысл #

Для примера с сохранением утверждений достаточно трёх ответов:

ОтветЗначение
СохранёнПеревод сохраняет степень уверенности, обязательства и значимые условия исходного текста. Равнозначные формулировки допустимы.
ИзменёнКонкретная часть этого смысла изменилась или исчезла. В описании проблемы указаны затронутые фрагменты.
Не определеноМодель-оценщик завершила сравнение, но имеющиеся данные не позволили обосновать ни один из двух выводов. В объяснении указано, что осталось неясным.

Это методические обозначения, а не схема API. Сопоставьте их с реальным форматом ответов вашего инструмента. Например, настраиваемая логическая метрика Radar может вернуть true, false или ответ null с обоснованием. Изучайте обоснование: ответ null может быть вызван разными причинами.

Используйте числовую шкалу, если промежуточные уровни отражают полезные различия. Опишите эти уровни так, чтобы специалист по проверке мог их распознать. Значение 80 должно означать что-то точнее, чем «довольно хорошо». Если важна серьёзность ошибки, определите её через последствия. При объединении результатов сохраняйте серьёзные проблемы на виду. Высокая средняя оценка не исключает недопустимого изменения в критически важном фрагменте.

При сбое запроса нет завершённого ответа о качестве текста. Отделяйте такие случаи от тех, когда модель-оценщик завершила работу, но вернула неопределённый ответ. От этого зависит следующий шаг: восстановить выполнение или устранить неоднозначность в данных.

Проверьте метрику на уже разобранных примерах #

Подготовьте набор для калибровки из материалов, которые команда вправе оценивать. Включите явные ошибки, хорошие переводы, естественные перефразировки и случаи, в которых ответ зависит от контекста. Добавьте материалы вне области применения критерия, чтобы проверить не только оценку, но и отбор.

Попросите квалифицированных специалистов определить ожидаемые ответы и обосновать их. Разногласия тоже полезны. Если исходный текст допускает два толкования, уточните задуманный смысл или зафиксируйте неопределённость. Если стандарт ясен, но модель-оценщик отвергает допустимую перефразировку, метрику нужно доработать.

Рассматривайте два вида ошибок отдельно:

  • Ложные срабатывания — допустимые переводы, помеченные как ошибочные. Они отнимают время на проверку и могут приводить к ненужным правкам.
  • Пропущенные ошибки — реальные проблемы, которые метрика не выявляет. Их последствия зависят не только от частоты, но и от того, какой смысл утрачен.

Проверьте доработанную метрику на примерах, которые не использовались при составлении инструкций. Если оценку даёт LLM, сохраните модель, промпт, конфигурацию и наблюдаемые различия между повторными запусками. Совпадение с собственными прежними ответами ещё не означает соответствия стандарту команды.

Калибровка должна дать конкретное описание того, где проверка работает, а где ей нужно больше данных. Метод, проверенный на одном типе контента и одной языковой паре, — полезное начало, но не основание для выводов обо всех переводах компании.

Покажите найденные проблемы и объём проверенной работы #

Когда проверка начнёт давать полезные результаты на знакомых примерах, примените её к определённому набору или выборке. Зафиксируйте, как выбирали материалы. Случайная выборка позволяет сделать одни выводы, а выборка переводов, которые другая проверка уже сочла рискованными, — другие. Последняя может помочь найти проблемы, но не оценить их частоту во всём контенте.

Рассмотрим условный результат для 100 выбранных пар «оригинал — перевод», к которым применим критерий:

РезультатПары
Смысл сохранён72
Смысл изменён8
Оценка завершена, ответ не определён10
Нет завершённой оценки10

Оценка завершена для 90 % выбранных пар. Определённые ответы получены для 80 %. Из этих 80 ответов 8 указали на изменение, поэтому доля выявленных проблем среди определённых ответов — 10 %. Для остальных 20 пар не установлено ни сохранение, ни изменение смысла.

Важны все три показателя. Смысл сохранён в 72 из 80 пар с определённым ответом — это 90 % успешных проверок среди определённых ответов. Если сообщить только «90 % прошли проверку», за этим скроются 10 завершённых оценок с неопределённым ответом и 10 пар без завершённой оценки. Доля выявленных проблем в 10 % тоже остаётся результатом этой метрики на этой выборке. Чтобы считать её показателем частоты ошибок в более широком наборе материалов, нужны подходящая выборка и данные о ложных срабатываниях и пропущенных ошибках.

Разбейте результаты по языкам и типам контента, которые могут повлиять на решение. Показывайте не только доли, но и абсолютные числа. Если по какому-то языку мало определённых ответов, нужно разобраться в причинах, прежде чем этот пробел затеряется за обнадёживающим общим показателем. Сохраняйте примеры повторяющихся проблем, чтобы из отчёта было понятно, что именно команда будет улучшать.

Сохраняйте сопоставимость после изменений #

Сохраните критерий и его конфигурацию вместе с данными, использованными для сравнения. Если меняются промпт, модель, правило отбора или исходное требование, проверьте новое определение метрики, прежде чем считать новые результаты продолжением прежних.

Чтобы сравнить две метрики, оцените один и тот же сохранённый текст по обоим определениям. Чтобы сравнить два подхода к переводу, не меняйте критерии и значимые условия. Иначе изменение оценки может отражать новый вопрос или более простой контент, а не улучшение переводов.

Сохраните данные для сравнения до повторной оценки истории

Оценка исторических данных в Radar заменяет прежние ответы для выбранной метрики и интервала. Перед запуском сохраните прежние определения и результаты, нужные для сравнения. Повторный запуск не сохраняет оба варианта эксперимента.

Метрика готова к работе, когда другой человек может выбрать нужный текст, предоставить данные для его оценки, объяснить каждый ответ и воспроизвести расчёт из отчёта. Реализуйте проверку с помощью метрик событий или локальной оценки через CLI. Для постоянного внешнего рабочего процесса используйте руководство «Как измерять качество переводов из вашего пайплайна»: оно описывает сбор данных и восстановление после сбоев. Руководство «Как проверять результаты оценки качества» посвящено следующей задаче: определить, действительно ли обнаружена проблема.