Результаты
Изучите ответ измерения вместе с текстом, критерием, обоснованием и данными о выполнении, затем учтите работу, для которой ответа нет.
Результат связывает измерение с проверенным текстом. Чтобы разобраться в нём, откройте ответ вместе с критерием и оценённой версией текста. В выводе об удалённом условии должны быть указаны само условие и формулировка перевода. Одного числа недостаточно, чтобы подтвердить такое изменение.
Например, ответ true для доли правок означает, что черновик и перевод различаются после нормализации пробельных символов. То же логическое значение в пользовательском требовании может означать, что перевод прошёл проверку. Прежде чем трактовать значение, прочитайте определение.
Откройте нужную историю #
На вкладке Измерения в подразделе Логи раздела Radar перечислены все ответы — от новых к старым. Отфильтруйте их по полям Измерение, Языки, Тип и Значение — Пройдено, Не пройдено или Неприменимо. Затем откройте ответ, чтобы увидеть Результат измерения. На странице самого события ответы собраны в разделе Значения. Контракт истории результатов поддерживает фильтры по времени, событию, измерению, локали, типу события и вердикту. Фильтры «пройдено» и «не пройдено» выбирают логические ответы, а не задают порог для числовых оценок. Фильтр N/A выбирает ответы с пометкой «неприменимо».
По контракту список результатов по умолчанию содержит 200 строк, а максимум — 500 строк на странице. Чтобы просмотреть всю выбранную историю, переходите по meta.nextCursor с теми же фильтрами. Для получения подробных данных используются ИД события, ИД измерения и время события в качестве at.
Если перевод создан в Lingo.dev, ответы относятся к его событию localization.completed. Найдите событие с нужными ИД задания и целевой локалью на вкладке Измерения в подразделе Логи раздела Radar. В статье Как проверять переводы Lingo.dev описано, для какой завершённой работы доступны измерения. Откройте задание в разделе API локализации в Studio, чтобы изучить его запросы к модели.
Изучите поля ответа #
| Поле | Как трактовать |
|---|---|
valueKind | bool или score — указывает шкалу ответа. |
value | Логическое значение true в виде 1, false в виде 0 или оценка от 0 до 100. |
notApplicable | Если значение равно true, строка не содержит определённого логического или числового ответа. Проверьте это поле, прежде чем считать value оценкой. |
reasoning, suggestion | Объяснение и предлагаемое исправление, если они есть. Любое из полей может иметь значение null. |
eventAt, computedAt | Время события, полученное из источника, и время вычисления ответа. Время события следует правилам временных меток поставщика. |
| Поля источника результата | Зафиксированная модель-оценщик или алгоритм — не обязательно тот компонент, который создал перевод. |
Для ответа null хранится числовой ноль с notApplicable: true. Это сочетание означает N/A, а не нулевую оценку качества. Если ответ действительно равен нулю, у него указано notApplicable: false.
Подробные данные также включают использование токенов, costUsd и, если доступно, aiRequest с моделью, временными метками, входными данными и необработанным выводом. На странице результата показаны Ответ с полями Обоснование и Предложение, проверенный Перевод, а также Запрос судьи с разделами Отправлено и Получено. Рядом указаны Судья, Затрачено времени, Токены и Стоимость. Для алгоритмического ответа запрос к AI не нужен. Если данные запроса устарели или недоступны, это поле тоже может иметь значение null. Отсутствие объяснения у корректного ответа само по себе не означает сбой выполнения.
Изучите входные данные судьи, если кажется, что объяснение опирается на отсутствующий текст или инструкции. Прежде чем применять предложенное исправление, сверьте его с исходным текстом: предложение ещё не означает, что исправленный текст принят.
Контракт подробных данных включает структурированное поле answer, но текущие запросы результатов возвращают только строки с логическими и числовыми значениями. Сохранённые в JSON метки шаблонов правок недоступны через эти запросы списка и подробных данных. Повторное измерение за прошлый период также заменяет прежние ответы, поэтому история результатов — не неизменяемый архив версий критериев.
Как трактовать результаты #
N/A объединяет несколько ситуаций, которые требуют разных дальнейших действий. Событие может не соответствовать языкам, движкам или выборке измерения — тогда обоснование начинается со слов «Условие не выполнено». Правило может действительно быть неприменимо. У выбранного перевода может отсутствовать исходный текст. Судья может выполнить оценку, но так и не дать определённого ответа. Различайте эти случаи по причине, содержимому данных и сведениям о выполнении. Не считайте каждое N/A завершённой оценкой.
| Ситуация | Что делать |
|---|---|
| Применимость неясна | Определите, нужно ли учитывать критерий в этой оценке. Явно отметьте неопределённость. |
| Критерий неприменим | Исключите этот случай из знаменателя показателя качества по этому критерию и сохраните причину. |
| Для перевода, подлежащего оценке, не хватает необходимых данных | Оставьте его в совокупности переводов, подлежащих оценке, и зафиксируйте нехватку данных. |
| Судья завершил работу, но не дал определённого ответа | Учитывайте завершённую оценку отдельно от определённых ответов. |
| Перевод, подлежащий оценке, получил ответ «пройдено» или «не пройдено» | Включите его в знаменатель при расчёте доли успешных ответов среди определённых. В числитель включайте только ответы «пройдено». |
| Завершение оценки не подтверждено | Явно учитывайте невыполненную работу и сбои. Изучите последний известный этап выполнения. |
Эти различия нужны для анализа и не означают, что в интерфейсе для каждого случая есть отдельное состояние. Выбранную совокупность определяют по записям рабочего процесса. Возвращённые ответы не позволяют выявить все переводы, которые подлежали оценке, но так до неё и не дошли.
Допустим, оценке подлежат 30 переводов. Получено 20 определённых ответов, из них 18 — «пройдено». Тогда доля успешных ответов составляет 90 %, а охват определёнными ответами — 20/30. Если ещё пять оценок завершились без определённого ответа, охват завершёнными оценками составит 25/30. У остальных пяти переводов завершённой оценки нет. Указывайте эти показатели отдельно, чтобы доля успешных ответов не скрывала нехватку данных.
Формирование выборки — намеренный этап отбора. События, не попавшие в выборку, не считаются сбоями выполнения, но всё же влияют на охват всей совокупности переводов, подлежащих оценке. В статье Как спроектировать измерение качества перевода описано, как определить эту совокупность и проверить критерий.
Отсутствующие результаты и сбои #
Начните с исходного события или запроса. Если его нет, проверьте сбор данных или генерацию. Если он есть, изучите выбранное измерение, его включённые условия — языки, движки и выборку, — а также необходимые данные.
При обработке событий после устранимых сбоев судьи или хранилища выполняются повторные попытки. Некорректные сообщения и случаи с дефектами могут отбрасываться. Список ответов в интерфейсе — не полный журнал попыток. Успешный перевод тоже не гарантирует, что для него выбрали или поставили в очередь измерение.
В разделе События ищите собранные данные, в разделе Запросы — входные данные, вывод и ошибки модели, а в разделе Запуски — ход рабочего процесса. Ожидание ручной проверки отслеживается в Inbox. Сбой записи в целевую систему — отдельная проблема, а не сбой перевода или оценки. Повторная генерация переводов ради одной недостающей проверки может создать лишнюю работу, не устранив исходный пробел.
Работайте с оценённой версией #
Убедитесь, что вы изучаете именно ту версию перевода, которая прошла оценку. При профессиональной проверке сравните полученный текст с тем, что фактически отправили на проверку: отправленный текст уже мог содержать переформулировки. Запоздалый результат от поставщика или удержанная плата за проверку не подтверждают, что команда приняла этот текст.
Подтвердив вывод, исправьте перевод в его рабочем процессе или уточните исходный текст, глоссарий, правило либо настройки модели-оценщика — в зависимости от источника проблемы. Повторно проверьте изменённую версию. Статья Как проверить выводы о качестве подробнее описывает этот разбор, а Проверки в Inbox — само решение по итогам проверки.