Как проверять переводы Lingo.dev

Запускайте измерения для переводов ваших движков локализации, выбирайте движки, языки и выборку и просматривайте каждый ответ вместе с запросом.

Перевод, созданный Lingo.dev, можно оценить с помощью тех же измерений, которые проверяют собранные данные об активности. Каждая завершённая локализация становится событием localization.completed в Radar. Каждое измерение, запущенное для этого типа событий, отвечает на свой вопрос о результате перевода. Эти ответы помогают разобраться в переводе, не запуская генерацию повторно.

Для запросов Lingo.dev нет отдельного ресурса оценки. Проверка — это измерение в разделе Измерения в Radar. Движки локализации, языковая пара и выборка, по которым отбираются запросы, задаются в настройках его условия localization.completed. Ответы отображаются вместе с событием, которое они оценивают.

Как включить автоматическую проверку для движка #

Откройте вкладку Оценщики движка локализации. В разделе Автоматическая проверка есть переключатели Соблюдение глоссария и Соблюдение правил. Первый включает проверку терминов, закреплённых в глоссариях движка, второй — правил из его наборов правил. Когда вы включаете переключатель, движок добавляется во встроенное измерение, а само измерение включается. Когда выключаете — движок удаляется из измерения. Настройки языка и выборки измерения не меняются.

Если встроенное измерение запускается для всех движков, переключатель включён у каждого из них. Если выключить его для одного движка, сохранится список остальных движков, которые есть сейчас. Движок, созданный позже, не будет проходить проверку, пока его не добавят. Проверить сохранённый список можно в поле Движки встроенного измерения в Radar.

MQM и пользовательских измерений на этой вкладке нет. Включите MQM в Radar, а движки для пользовательского измерения выберите в его условии. Если ваш план предусматривает оплату проверок по числу запусков, в разделе Автоматическая проверка появится пометка Оплата за запуск со стоимостью.

Как задать критерий для сгенерированных переводов #

Создайте пользовательское измерение и выберите localization.completed в качестве триггера. Задайте название и промпт, затем выберите Пройдено или не пройдено либо От 0 до 100. Определите, что означает каждый ответ. Логическое значение подходит для требования вроде сохранения оговорки. Для процентной оценки нужна чёткая шкала, учитывающая частичное выполнение требования.

Если включён параметр Разрешить ответ «Неприменимо», определите, когда судья должен воздержаться от оценки и как объяснить такой ответ. Если требование неприменимо, дальнейшие действия будут одними. Если оно применимо к переводу, но данных для оценки не хватает — другими. Это важно, даже если в обоих случаях нет однозначного заключения.

Например, обещание в исходном тексте доставить товар в течение пяти рабочих дней содержит срок, уточнение о рабочих днях и обязательство. Проверка этого обещания должна объяснить, какие из этих смысловых связей изменились. Одного совпадения числа недостаточно, чтобы подтвердить, что смысл утверждения сохранился.

Судья получает данные события. Для задания на перевод документа это исходный текст и перевод, сгруппированные по файлам, пара локалей и ИД движка. Поля контекста на уровне запроса в этих данных нет. Судья — это модель-оценщик, которой управляет платформа. Это не обязательно та же модель, которая сгенерировала текст.

Как выбрать переводы для проверки #

На вкладке Общие измерения строка localization.completed в разделе Запускается для определяет, какие запросы будут выбраны:

ПараметрЧто выбирает
ЯзыкиЦелевые локали. Любой язык выбирает все целевые локали.
Исходные языкиИсходные локали. Любой исходный язык выбирает все исходные локали.
ДвижкиДвижки локализации, переводы которых проверяются. Любой движок включает и движки, добавленные позже.
ВыборкаКаждое событие либо 50, 25, 20, 10, 5 или 1 % событий, отобранных по остальным параметрам.

Выберите Сохранить изменения, чтобы применить их. При выборе локалей учитывается их иерархия, как описано в разделе Выбор событий: fr также выбирает fr-CA, а fr-CA не выбирает fr-FR. Запрос, записанный без движка локализации, не соответствует условию с ограничением по движку.

Выборка отбирает долю подходящих запросов, но не гарантирует точного количества в небольшом пакете. Запрос, который не попал в выборку или не соответствует выбранным языкам либо движкам, всё равно получает ответ N/A. Его обоснование начинается со слов «Условие не выполнено». Такой ответ не оплачивается. В отчётах различайте все подходящие запросы и те, что были отобраны. Намеренное исключение запроса из выборки — не сбой оценки. Но его отсутствие важно учитывать, когда вы объясняете, какая доля всех подходящих запросов получила однозначный ответ.

Какие указания использует проверка #

Проверки соблюдения глоссария и правил используют термины глоссария и правила движка, актуальные на момент запуска. Если в событии указан движок, MQM добавляет его текущую тональность бренда, правила и подходящие термины. Ни одна из этих проверок не восстанавливает снимок указаний, сохранённых вместе с запросом. Поэтому изменение термина после генерации меняет то, что будет проверять последующая оценка прошлых событий.

Отсутствие замечаний не позволяет определить, какие указания использовались при генерации. Изучите исходный пакет и попытки модели в разделе Запросы. Затем сравните переданный контекст и конфигурацию движка с описанием в разделе Получение контекста.

Как просмотреть асинхронный ответ #

Измерение ставится в очередь после завершения локализации. Постановка в очередь и оценка выполняются отдельно от перевода, поэтому перевод может успешно завершиться, даже если ответа ещё нет.

Список ответов находится в подразделе Измерения раздела Логи в Radar. Отфильтруйте их по полям Измерение и Значение, затем откройте ответ, чтобы увидеть его значение, обоснование, предложение и запрос к судье. Сопоставьте событие, на котором основан ответ, с заданием и локалью, которые вы изучаете. В разделе Результаты отдельно показаны однозначные ответы, N/A и случаи, когда измерение не выполнялось.

Отрицательный ответ или низкая оценка пользовательского измерения для перевода движка также могут стать основанием для предложений по улучшению движка локализации. Сам ответ не меняет перевод.

Асинхронная оценка не блокирует пайплайн перевода и не одобряет его результат для публикации. Необязательное постредактирование и решения людей настраиваются отдельно в разделах Пайплайн, Политика проверки и Inbox.

Как остановить проверку или удалить измерение #

Выключите переключатель движка, уберите движок из условия или выключите измерение, чтобы остановить будущие проверки. Задания, уже поставленные в очередь, могут завершиться и после этого.

При удалении пользовательского измерения удаляются его определение и условия. Записанные ответы остаются и отображаются с пометкой Неизвестное измерение. Перед удалением сохраните определение вместе с материалами всех разборов, которые на него опираются.

Если ответа нет, прежде чем запускать перевод ещё раз, проверьте исходный запрос, его событие, выбранные для измерения движки, языки и выборку, а также обоснование N/A. Чтобы проверить переводы, созданные до включения измерения, используйте оценку прошлых событий. Повторный запуск создаёт новое задание и может использовать другую модель или указания. Сам по себе он не позволяет в точности восстановить исходную попытку.