Результаты

Изучите ответ измерения вместе с текстом, критерием, обоснованием и данными о выполнении, затем учтите работу, для которой ответа нет.

Результат связывает измерение с проверенным текстом. Чтобы разобраться в нём, откройте ответ вместе с критерием и оценённой версией текста. В выводе об удалённом условии должны быть указаны само условие и формулировка перевода. Одного числа недостаточно, чтобы подтвердить такое изменение.

Например, ответ true для доли правок означает, что черновик и перевод различаются после нормализации пробельных символов. То же логическое значение в пользовательском требовании может означать, что перевод прошёл проверку. Прежде чем трактовать значение, прочитайте определение.

Откройте нужную историю #

На вкладке Измерения в подразделе Логи раздела Radar перечислены все ответы — от новых к старым. Отфильтруйте их по полям Измерение, Языки, Тип и Значение — Пройдено, Не пройдено или Неприменимо. Затем откройте ответ, чтобы увидеть Результат измерения. На странице самого события ответы собраны в разделе Значения. Контракт истории результатов поддерживает фильтры по времени, событию, измерению, локали, типу события и вердикту. Фильтры «пройдено» и «не пройдено» выбирают логические ответы, а не задают порог для числовых оценок. Фильтр N/A выбирает ответы с пометкой «неприменимо».

По контракту список результатов по умолчанию содержит 200 строк, а максимум — 500 строк на странице. Чтобы просмотреть всю выбранную историю, переходите по meta.nextCursor с теми же фильтрами. Для получения подробных данных используются ИД события, ИД измерения и время события в качестве at.

Если перевод создан в Lingo.dev, ответы относятся к его событию localization.completed. Найдите событие с нужными ИД задания и целевой локалью на вкладке Измерения в подразделе Логи раздела Radar. В статье Как проверять переводы Lingo.dev описано, для какой завершённой работы доступны измерения. Откройте задание в разделе API локализации в Studio, чтобы изучить его запросы к модели.

Изучите поля ответа #

ПолеКак трактовать
valueKindbool или score — указывает шкалу ответа.
valueЛогическое значение true в виде 1, false в виде 0 или оценка от 0 до 100.
notApplicableЕсли значение равно true, строка не содержит определённого логического или числового ответа. Проверьте это поле, прежде чем считать value оценкой.
reasoning, suggestionОбъяснение и предлагаемое исправление, если они есть. Любое из полей может иметь значение null.
eventAt, computedAtВремя события, полученное из источника, и время вычисления ответа. Время события следует правилам временных меток поставщика.
Поля источника результатаЗафиксированная модель-оценщик или алгоритм — не обязательно тот компонент, который создал перевод.

Для ответа null хранится числовой ноль с notApplicable: true. Это сочетание означает N/A, а не нулевую оценку качества. Если ответ действительно равен нулю, у него указано notApplicable: false.

Подробные данные также включают использование токенов, costUsd и, если доступно, aiRequest с моделью, временными метками, входными данными и необработанным выводом. На странице результата показаны Ответ с полями Обоснование и Предложение, проверенный Перевод, а также Запрос судьи с разделами Отправлено и Получено. Рядом указаны Судья, Затрачено времени, Токены и Стоимость. Для алгоритмического ответа запрос к AI не нужен. Если данные запроса устарели или недоступны, это поле тоже может иметь значение null. Отсутствие объяснения у корректного ответа само по себе не означает сбой выполнения.

Изучите входные данные судьи, если кажется, что объяснение опирается на отсутствующий текст или инструкции. Прежде чем применять предложенное исправление, сверьте его с исходным текстом: предложение ещё не означает, что исправленный текст принят.

Контракт подробных данных включает структурированное поле answer, но текущие запросы результатов возвращают только строки с логическими и числовыми значениями. Сохранённые в JSON метки шаблонов правок недоступны через эти запросы списка и подробных данных. Повторное измерение за прошлый период также заменяет прежние ответы, поэтому история результатов — не неизменяемый архив версий критериев.

Как трактовать результаты #

N/A объединяет несколько ситуаций, которые требуют разных дальнейших действий. Событие может не соответствовать языкам, движкам или выборке измерения — тогда обоснование начинается со слов «Условие не выполнено». Правило может действительно быть неприменимо. У выбранного перевода может отсутствовать исходный текст. Судья может выполнить оценку, но так и не дать определённого ответа. Различайте эти случаи по причине, содержимому данных и сведениям о выполнении. Не считайте каждое N/A завершённой оценкой.

СитуацияЧто делать
Применимость неяснаОпределите, нужно ли учитывать критерий в этой оценке. Явно отметьте неопределённость.
Критерий неприменимИсключите этот случай из знаменателя показателя качества по этому критерию и сохраните причину.
Для перевода, подлежащего оценке, не хватает необходимых данныхОставьте его в совокупности переводов, подлежащих оценке, и зафиксируйте нехватку данных.
Судья завершил работу, но не дал определённого ответаУчитывайте завершённую оценку отдельно от определённых ответов.
Перевод, подлежащий оценке, получил ответ «пройдено» или «не пройдено»Включите его в знаменатель при расчёте доли успешных ответов среди определённых. В числитель включайте только ответы «пройдено».
Завершение оценки не подтвержденоЯвно учитывайте невыполненную работу и сбои. Изучите последний известный этап выполнения.

Эти различия нужны для анализа и не означают, что в интерфейсе для каждого случая есть отдельное состояние. Выбранную совокупность определяют по записям рабочего процесса. Возвращённые ответы не позволяют выявить все переводы, которые подлежали оценке, но так до неё и не дошли.

Допустим, оценке подлежат 30 переводов. Получено 20 определённых ответов, из них 18 — «пройдено». Тогда доля успешных ответов составляет 90 %, а охват определёнными ответами — 20/30. Если ещё пять оценок завершились без определённого ответа, охват завершёнными оценками составит 25/30. У остальных пяти переводов завершённой оценки нет. Указывайте эти показатели отдельно, чтобы доля успешных ответов не скрывала нехватку данных.

Формирование выборки — намеренный этап отбора. События, не попавшие в выборку, не считаются сбоями выполнения, но всё же влияют на охват всей совокупности переводов, подлежащих оценке. В статье Как спроектировать измерение качества перевода описано, как определить эту совокупность и проверить критерий.

Отсутствующие результаты и сбои #

Начните с исходного события или запроса. Если его нет, проверьте сбор данных или генерацию. Если он есть, изучите выбранное измерение, его включённые условия — языки, движки и выборку, — а также необходимые данные.

При обработке событий после устранимых сбоев судьи или хранилища выполняются повторные попытки. Некорректные сообщения и случаи с дефектами могут отбрасываться. Список ответов в интерфейсе — не полный журнал попыток. Успешный перевод тоже не гарантирует, что для него выбрали или поставили в очередь измерение.

В разделе События ищите собранные данные, в разделе Запросы — входные данные, вывод и ошибки модели, а в разделе Запуски — ход рабочего процесса. Ожидание ручной проверки отслеживается в Inbox. Сбой записи в целевую систему — отдельная проблема, а не сбой перевода или оценки. Повторная генерация переводов ради одной недостающей проверки может создать лишнюю работу, не устранив исходный пробел.

Работайте с оценённой версией #

Убедитесь, что вы изучаете именно ту версию перевода, которая прошла оценку. При профессиональной проверке сравните полученный текст с тем, что фактически отправили на проверку: отправленный текст уже мог содержать переформулировки. Запоздалый результат от поставщика или удержанная плата за проверку не подтверждают, что команда приняла этот текст.

Подтвердив вывод, исправьте перевод в его рабочем процессе или уточните исходный текст, глоссарий, правило либо настройки модели-оценщика — в зависимости от источника проблемы. Повторно проверьте изменённую версию. Статья Как проверить выводы о качестве подробнее описывает этот разбор, а Проверки в Inbox — само решение по итогам проверки.