Измерения

Выбирайте проверки для событий, связанных с собранными и сгенерированными переводами, и настраивайте, на каких событиях запускать каждую проверку.

Измерение — это настроенная проверка, которая запускается при поступлении выбранных событий перевода. Например, изменение перевода в Crowdin или репозитории может запустить сравнение правок, а завершение локализации в Lingo.dev — проверку терминологии. Событие даёт данные для проверки, а измерение задаёт вопрос.

Один и тот же ресурс работает и с переводами из других систем, и с переводами, которые создают ваши движки локализации. Оценка результатов Lingo.dev — это измерение, которое запускается после завершения локализации. Этот сценарий описан в разделе Оценка переводов Lingo.dev.

В разделе Измерения в Radar выберите встроенную проверку или создайте собственное определение для организации. По умолчанию страница открывается на вкладке Встроенные. На вкладке Ваши измерения находятся измерения, созданные вашей организацией. Для каждого указаны типы событий, на которых оно запускается, тип значения, языки, число проверенных событий и состояние: включено или выключено. В текущем API читать и менять определения и условия, а также запускать оценку прошлых событий могут только участники организации. Право доступа к отчётам определяет доступ к Отчётам, а не к измерениям.

Включите встроенную проверку #

Откройте встроенное измерение и выберите события для проверки: настройте языки, исходные языки, движки локализации и выборку. Включите Включено и выберите Сохранить изменения. На странице указаны типы событий, на которых запускается измерение. Допустимые типы событий и реализацию проверки задаёт Lingo.dev. Ваша организация решает, запускать ли проверку и какие события отбирать.

Для проверок соблюдения глоссария и правил те же настройки доступны отдельно для каждого движка локализации: на вкладке Оценщики, в разделе Автоматическая проверка.

Выбирайте проверку по вопросу, на который нужен ответ:

ВопросИзмерение
Какие ошибки выявляет заданная система оценки по категориям и степени серьёзности?MQM
Изменился ли перевод по сравнению с сохранённым черновиком?Доля правок
Насколько изменился текст?Расстояние редактирования
Использована ли в переводе нужная терминология?Соблюдение глоссария
Соблюдены ли применимые инструкции?Соблюдение правил
Какие виды правок были внесены?Типы правок — с ограничением доступа к результатам, описанным в справочнике встроенных измерений.

В справочнике встроенных измерений описаны входные данные, шкала и трактовка результатов каждого алгоритма. Ответ «истина» для доли правок означает лишь, что текст изменился, а не что он прошёл общую проверку качества.

Добавьте требование с учётом контента #

Создайте собственное измерение, если вопрос зависит от вашего контента. Например, если нужно проверить, сохранилось ли условие, с которым связано утверждение о продукте. Задайте промпт, название, тип значения, триггер и языки. При сохранении определения форма создания включает выбранное условие события.

Начните с событий, данные которых вы можете изучить. Когда поступит первое событие, откройте ответ и сопоставьте обоснование с оригиналом и переводом. Прежде чем полагаться на результаты для большого набора событий, проверьте и допустимые перефразирования, и известные ошибки. Корректно сохранённое определение подтверждает, что проверка настроена. Калибровка показывает, достаточно ли надёжно она отвечает на нужный вопрос для вашей задачи.

Отбор событий #

У собственного измерения есть отдельное условие для каждого типа событий, на котором оно запускается. Чтобы добавить условие, выберите Выбрать событие в разделе Запускается на. У встроенного измерения в разделе Запускается на перечислены допустимые типы событий. Изменить их нельзя, и для всех действует общий набор настроек. Если ни подключённые интеграции, ни сам Lingo.dev не отправляют нужные типы событий, на вкладке Общие в разделе Запускается на появляется сообщение об этом. Там же перечислены интеграции, которые могут отправлять такие события, и есть ссылка на подраздел «Интеграции» в настройках. Доступны события создания, обновления и удаления оригинала и перевода, создания, обновления, удаления, одобрения и отклонения предложения, а также начала и завершения локализации.

Каждое условие или настройка встроенного измерения сужает набор событий соответствующего типа:

ФильтрПо чему отбирает
ЯзыкиПо целевой локали события. Любой язык выбирает все целевые локали.
Исходные языкиПо исходной локали события. Любой исходный язык выбирает все исходные локали.
ДвижкиПо движку локализации, создавшему перевод. Любой движок охватывает и движки, добавленные позже.
ВыборкаКаждое событие или доля от 50 % до 1 % событий, прошедших остальные фильтры.

При выборе локали учитывается иерархия локалей, а не точное совпадение текста. Список с fr выбирает fr и fr-CA, а fr-CA также выбирает событие, помеченное просто fr. При этом fr-CA не выбирает fr-FR. В API пустой или отсутствующий список не ограничивает выбор, а * соответствует любой локали.

Для отбора по движку и исходному языку в событии должны быть соответствующие поля. События локализации Lingo.dev содержат сведения о движке и обеих локалях. События Crowdin, GitHub и Zendesk содержат локали, но не движок, поэтому условие с ограничением по движкам их не выбирает. Попадание в выборку определяется для каждой пары «событие — измерение», а не заново при каждом запуске: при повторной оценке одно и то же событие по-прежнему либо попадает в заданную выборку, либо нет.

Событие выбранного типа, не прошедшее фильтр, всё равно получает ответ «Неприменимо». Обоснование начинается со слов «Условие не выполнено» и указывает, какой фильтр не пройден. Этот ответ не оплачивается, но на вкладке «Ретроспективная обработка» событие учитывается как проверенное. Не включайте его в знаменатель при расчёте качества по критерию, но учитывайте в общем наборе событий.

Отбор и данные для проверки — разные вещи. Событие начала может соответствовать настроенному типу, но ещё не содержать готового перевода. Проверка глоссария может выбрать нужную локаль, но не найти подходящих терминов. Если ответа нет или он равен «Неприменимо», изучите и условие, и содержимое события.

Меняйте будущие проверки, сохраняя смысл прежних результатов #

На вкладке Общие собственного определения измените название, промпт, тип значения или настройку Разрешить ответ «Неприменимо», а также условия событий. Затем выберите Сохранить изменения. Прежде чем менять критерий, сохраните прежнее определение вместе с результатами, нужными для сравнения: другой вопрос может изменить динамику показателя, даже если ни один перевод не изменился.

Настройка Включено включает или выключает все условия измерения одновременно. Изменение вступает в силу после сохранения. В API у каждого собственного условия также есть отдельный флажок включения. Если выключить измерение, отбор новых событий прекратится, но уже поставленные в очередь задачи могут завершиться. При удалении собственного определения удаляются и его условия. Существующие ответы остаются с пометкой Неизвестное измерение, без ссылки на определение. Встроенные измерения нельзя редактировать или удалять как собственные определения.

Для уже собранных событий используйте Оценку прошлых событий на вкладке Ретроспективная обработка измерения. Она позволяет проверить только события, у которых ещё нет ответа, или заменить ответы за выбранный период.

Измерения выполняются асинхронно. Их ответы помогают анализировать переводы, но не изменяют их и не блокируют публикацию. Этапы перевода и приёмку настраивайте отдельно в Studio.