Результаты оценки
Разбирайтесь в оценках измерений, долях успешных проверок и количестве правил и терминов — изучайте ответы и то, какие данные входят в знаменатели расчётов.
Отчёты о результатах оценки обобщают ответы измерений. Панель оценок в разделе Обзор в Radar показывает данные за текущий месяц. В отчёте Explore с источником Измерения вы можете отобрать ответы по измерению, языку, движку или типу события. Найдите закономерность с помощью любого из этих инструментов, затем откройте отдельные ответы и изучите текст, который за ней стоит.
Оценка в обзоре и отчёты Explore обобщают ответы с результатом «пройдено / не пройдено» и числовой оценкой. Там, где подсчитывается количество ответов, учитываются и результаты N/A. В разделе Результаты показаны отдельные ответы с текстом и доступными обоснованиями. Классификации шаблонов правок не входят в эти отчёты и списки результатов. Всегда явно указывайте измерение и тип события: за похожими названиями могут стоять разные данные.
Оценка в обзоре #
На панели указан месяц, а столбцы показывают средние оценки за каждый день. В каждом дне объединяются ответы всех измерений с результатом «пройдено / не пройдено» и оценкой от 0 до 100: успешная проверка считается за 1, неуспешная — за 0, а числовая оценка делится на 100. Ответы N/A исключаются. Структурированные ответы, например шаблоны правок, тоже не учитываются. Главный показатель — среднее по дням, за которые есть оценка, без учёта количества ответов в каждом дне. Строка ниже показывает разницу в пунктах между прошедшей частью текущего месяца и теми же днями предыдущего.
Панель объединяет все измерения, поэтому в ней смешиваются критерии, для которых рост значения означает разное. Чем выше расстояние редактирования, тем больше изменений в тексте. А результат «пройдено» для частоты правок означает, что текст отредактировали. Изменение показателя — повод открыть Explore и выбрать одно измерение, а не вывод о качестве.
Оценки #
В разделе Данные выберите поле и способ расчёта для ответов измерений, которые хотите изучить:
| Данные | Расчёт |
|---|---|
| Измерение | Количество: ответы с результатом «пройдено / не пройдено» и числовой оценкой, включая N/A. Уникальные: количество разных измерений, которые дали ответы |
| Оценка | Среднее или Сумма оценок от 0 до 100 в ответах, кроме N/A |
| Логическое значение | Среднее: количество ответов «пройдено», делённое на количество ответов «пройдено / не пройдено» без N/A |
| Пройдено, Не пройдено | Ответы с результатом «пройдено / не пройдено», в которых проверка пройдена или не пройдена |
| Неприменимо | Ответы N/A |
| Тип значения, Тип события, Целевая локаль, Исходная локаль, Кем принято решение, Модель-судья, Движок, Поставщик | Количество ответов с этим полем или Уникальные значения, которые оно принимает |
Прежде чем сравнивать оценки, выберите одно Измерение в фильтре или разбивке либо начните с его готовой настройки. Иначе поле Оценка объединит несвязанные критерии. Чтобы изучить состав ответов, используйте для разбивки поля Модель-судья, Тип значения, Кем принято решение, локали, движок или поставщика.
Для расчёта Уникальные за весь период выберите Итого в разделе Время. Если сложить дневные количества уникальных значений, одно и то же измерение или движок может учитываться несколько раз.
Ответы по соблюдению глоссария и правил показывают, насколько последовательно применяются термины из глоссария и правила. Частота правок и расстояние редактирования показывают, как часто и насколько сильно люди меняют переводы. При расчёте частоты правок для Справочного центра Zendesk или репозитория GitHub Explore учитывает каждый перевод, созданный Lingo.dev, один раз: если человек изменил перевод, результат отмечается как «пройдено». Поэтому Логическое значение с расчётом Среднее — это доля переводов, которые изменили люди. Эти переводы учитываются в том периоде, когда Lingo.dev их создал.
Количество сохранённых ответов не отражает весь набор данных, которые могли пройти оценку. В нём нет неудачных попыток и переводов, которые не дошли до оценки. События, не входящие в заданные условием языки, движки или выборку, могут давать ответы N/A. Сохраняйте сведения об этом отборе вместе с данными об охвате завершённых оценок и определённых результатов.
Как правильно читать среднее за весь период #
Допустим, в один день получен 1 успешный ответ из 1, а в другой — 0 из 9. Среднее по дневным долям составит 50 %, а по всем десяти ответам вместе — 10 %. Главный показатель в обзоре усредняет дни, поэтому покажет 50 %. Чтобы получить 10 % в Explore, выберите Логическое значение с расчётом Среднее, Итого в разделе Время и диаграмму Число за тот же период. Поле totals.averageScore в ответе на запрос даёт тот же результат по всем этим ответам «пройдено / не пройдено», как описано в контракте запроса отчёта.
Линейный график по дням показывает значение, рассчитанное по всем ответам за каждый день, но не показывает, сколько ответов стоит за точкой. Если важен состав ответов за день, добавьте Измерение с расчётом Количество и проверьте Неприменимо. Названия измерений могут меняться, поэтому сохраняйте ИД для регулярного анализа.
За изменением среднего могут стоять другой критерий, выборка, соотношение языков или формат ответа. Проверьте их, прежде чем связывать разницу с улучшением переводов. Числовая оценка сама по себе не равна вероятности того, что перевод верен. А высокое среднее не исключает серьёзной ошибки в отдельном фрагменте.
Правила и термины #
Соблюдение правил оценивает долю применимых правил, которым следует перевод. Соблюдение глоссария оценивает долю полученных результатов проверки терминов с отметкой о применении термина. Оценка каждого ответа — passed / checked × 100. Если ничего не проверялось, ответ получает результат N/A.
Чтобы сравнить числовые ответы измерения в Explore, используйте Оценка с расчётом Среднее. Так каждый ответ с определённым результатом получает одинаковый вес независимо от количества применимых правил или терминов. В разделе «Результаты» доступны оценка и объяснение, если оно есть, но нет отдельных итоговых значений passed и checked. Поэтому отчёт не позволяет узнать общую долю успешных проверок отдельных правил или терминов.
Средняя оценка также не равна проценту переводов, которые соблюдают все правила. Ответ N/A без применимых проверок — не то же самое, что перевод, который их не прошёл. Прежде чем менять перевод или инструкции, откройте Обоснование и доступный Запрос к судье, чтобы изучить результаты проверок, на которых основана оценка.
При запуске эти проверки используют текущие глоссарий и правила движка. Поэтому они могут не совпадать с теми, что запрос фактически получил при генерации. Прежде чем исправлять целевой текст, изучите его вместе с нарушенными правилами и пропущенными терминами. Если ожидаемых инструкций не было в запросе, проверьте Извлечение контекста. Если неясно само правило, уточните его в разделе Правила. Для терминов используйте раздел Глоссарии и статью Как задать термин с чёткими границами.
Как сравнивать языки и искать причины #
При сравнении локалей используйте один и тот же критерий, исходный набор данных, интервал и правила отбора. Показывайте рядом с результатами количество ответов с оценкой и данные о пропусках. Язык с меньшим числом ответов в выборке может выглядеть лучше просто потому, что к судье попал другой контент.
Объём работы, выявленные проблемы качества и активность редактирования — разные показатели. По количеству изменений в репозитории нельзя определить, были ли это языковые исправления. Читайте не только целевой текст, но и исходник с контекстом. Неоднозначный исходник или противоречивые инструкции могут приводить к повторяющимся проблемам на разных языках. Чтобы разобраться в такой закономерности, нужно пересматривать исходный текст и явно классифицировать проблемы, а не делать выводы о недостатках исходника только по низким оценкам переводов.
Для целенаправленного сравнения следуйте статье Как сравнивать модели перевода: этот подход сохраняет сопоставимость контента и критериев. Если результат проверки вызывает сомнения, статья Как проверять выявленные проблемы качества поможет установить, действительно ли проблема есть.