Измеряйте качество переводов в своём пайплайне

Добавьте воспроизводимые измерения в текущий процесс перевода и чётко отслеживайте версии, ответы и незавершённую работу.

В текущем процессе перевода уже определено, откуда поступает контент и где должен храниться принятый текст. Добавьте измерение на этапе, где можно сохранить версии оригинала и перевода, а затем связать каждый ответ с этой записью. Так команда сможет изучать качество, не меняя систему, которая создаёт или поддерживает переводы.

В этом руководстве мы разберём одно регулярно повторяемое измерение: от сбора данных до восстановления работы и отчётности. Начните с чёткого критерия, например сохранения условий в утверждениях о продукте. Руководство Как спроектировать измерение качества перевода поможет сформулировать и откалибровать этот критерий.

Свяжите проверку с реальным потоком данных #

Прежде чем настраивать автоматизацию, выберите способ запуска измерений:

С чем вы работаетеКак измерять
Предложения и переводы в CrowdinПодключите Crowdin, включите измерение по событиям и просматривайте собранные действия и результаты в Radar.
Локальные файлы переводовЗапустите lingo score с настройками компонента оценки и модели. Сохраните локальный файл результатов.
Запросы на перевод в Lingo.devЗапустите измерение для завершённых локализаций по этим запросам и просмотрите ответы в Radar.

От источника собираемых событий в Radar зависит, какие данные поступят. Radar не предоставляет универсальную конечную точку для загрузки произвольных переводов или оценок. Если вы создали собственный пайплайн и для него нет поддерживаемого способа приёма данных, сохраняйте описанную ниже запись о версиях. Прежде чем автоматизировать отправку, настройте передачу данных. Сам по себе собственный критерий не создаёт канал передачи.

Эти ограничения описаны в руководстве Как собирать переводы. Метод измерения полезен независимо от того, где поддерживается принятый текст. Просто локальная оценка и история событий создают разные записи для сверки.

Храните версии оригинала и перевода вместе #

Выберите идентификатор контента, который не меняется при редактировании, затем зафиксируйте конкретные версии оригинала и перевода, прошедшие оценку. Одного ИД сообщения недостаточно, чтобы отличить ответ о вчерашнем тексте от ответа о сегодняшнем исправлении.

Запись, которую вы ведёте у себя, может содержать:

json
{
  "contentId": "checkout.delivery",
  "sourceRevision": "source-17",
  "targetRevision": "fr-12",
  "targetLocale": "fr",
  "criterionVersion": "delivery-promise-3",
  "sourceText": "Your order will arrive within five business days.",
  "targetTextLocation": "accepted catalog at revision fr-12"
}

Это пример записи для отслеживания, а не схема запроса Lingo.dev. Сохраняйте сам текст перевода или неизменяемую ссылку на него, доступную модели-оценщику. Ссылка на «последнюю версию» может измениться, пока идёт оценка. Вместе с записью храните время события, сведения о том, кто или что его создало, если это известно, и расположение принятого текста.

Подбирайте данные под вопрос. Для проверки сохранения смысла нужны оригинал и перевод в паре, для анализа правок — сам черновик. Для проверки терминологии могут понадобиться определение и контекст использования. Для проверки орфографии может хватить только перевода. Если сообщение подлежит оценке, но нужных данных нет, это пробел в оценке, а не повод считать, что сообщение прошло проверку или критерий к нему неприменим.

Пройдите один цикл от сбора данных до ответа #

Для Crowdin выполните инструкции по подключению, затем настройте измерение по событиям, его триггер и целевые локали. Для переводов Lingo.dev проверьте движки измерения, исходный и целевые языки, а также выборку. Сохраните настройки, прежде чем выполнять тестовое действие или отправлять запрос.

Найдите полученное событие или запрос и сравните текст с сохранённой записью. Затем сопоставьте ответ с критерием. Получение события, отбор для оценки и готовый ответ — отдельные этапы. Новые настройки отбора не запускают оценку старых событий. Для этого используйте оценку исторических данных.

Ведите в рабочем процессе простую запись для сверки: выбранная версия, идентификатор полученного события или запроса, идентификатор измерения, готовый ответ и все неустранённые пробелы. Доступные поля описаны в разделах События и Результаты. При локальной оценке вместо этого храните вместе исходные файлы, конфигурацию и файл результатов.

Различайте повторы и исправления #

При повторной попытке та же версия поступает ещё раз. Исправление создаёт новую версию перевода, даже если ИД контента остаётся прежним. Отразите это различие в записи, прежде чем применять правила удаления дубликатов, принятые в самом источнике.

Например, после исправления срока нужно создать новую версию перевода и заново сравнить её с соответствующим оригиналом. Сохраните прежний текст и ответ, если нужно показать, что улучшилось. Если обещание в оригинале тоже изменилось, сохраните его новую версию. Сравнение нового перевода со старым оригиналом может создать видимость ошибки.

У разных поставщиков нет единой гарантии идемпотентности без ограничений. Повторные действия проверки в Crowdin могут иметь разные идентификаторы событий, а другие действия — собственные сведения о том, когда они произошли. Прежде чем повторять работу с неизвестным исходом, сверьте доступные подтверждения получения и результаты.

Возобновляйте работу с последнего подтверждённого этапа #

Что удалось установитьЧто проверить дальше
Версия есть в источнике, но событие не найденоПроверьте подключение, поддерживается ли этот тип действия, временной интервал и подтверждения сбора данных.
Событие есть, но ответ не найденПроверьте включённые условия измерения, локали, необходимые входные данные и асинхронную обработку.
Модель-оценщик завершила работу с неопределённым ответомПрочитайте объяснение и добавьте недостающие данные или устраните неоднозначность.
Критерий действительно неприменимСохраните это решение и исключите элемент из знаменателя при расчёте качества по этому критерию.
Сбой выполненияВыясните причину сбоя, прежде чем повторять затронутую работу поддерживаемым способом.

По одному лишь отсутствию результата не понять, идёт ли ожидание, произошёл ли сбой, потерялись ли входные данные или работа вообще не запрашивалась. Не делайте выводов, пока не появятся подтверждения. Повторная генерация — ненадёжный способ восстановить отсутствующую асинхронную оценку.

Если для восстановления вы используете оценку исторических данных, оставьте включённым параметр Только ещё не измеренные события, чтобы заполнить пробелы, не затрагивая существующие ответы. Повторное измерение за этот период заменит прежние ответы для этого измерения во всём выбранном интервале, поэтому сначала сохраните их. Убедитесь, что ожидаемые события есть и ответы получены: ответ о запуске ещё не означает, что работа завершена.

Показывайте в отчёте и ответы, и работу без ответа #

Рассмотрим пример: пакет из 50 версий, подлежащих оценке. Для 45 оценка завершилась, для 40 — дала определённые ответы. Из этих 40 версий 36 сохранили требование, а 4 — нет.

Охват завершёнными оценками — 45/50, или 90 %. Охват определёнными ответами — 40/50, или 80 %. Доля успешных проверок среди определённых ответов — 36/40, или 90 %. Пять завершённых оценок с неопределённым ответом и пять версий без завершённой оценки учитываются отдельно.

Показывайте те же показатели по языкам или категориям контента, если пробелы распределены неравномерно. Отдельно отмечайте случаи, где применимость критерия ещё не определена. Высокая доля успешных проверок среди записей с ответами ничего не говорит о записях без ответа.

Храните критерий вместе с результатом #

Вместе с версиями контента сохраняйте промпт критерия, требования к данным, определения ответов и настройки модели-оценщика. Прежде чем объединять ответы для отслеживания динамики, проверьте изменённые определения на известных примерах. Изменение критерия может повлиять на оценки, даже если переводы не менялись.

Когда проблема подтверждена, исправьте текст в системе, которая за него отвечает, и оцените новую версию. Руководство Как проверять выводы о качестве поможет подтвердить диагноз. Измерение даёт данные для решения, а запись изменений в эту систему и публикация остаются отдельными, явно заданными действиями в текущем рабочем процессе.