Как проверить замечания к качеству

Выясните, есть ли в отмеченном переводе реальная проблема, разберите разногласия и выберите подходящий способ исправить подтверждённую проблему.

Замечание полезно, если проверяющие могут изучить тот же текст и понять, почему его отметили. Для этого нужно сопоставить вывод модели-оценщика с оригиналом, переводом и требованием, а затем решить, что подтверждают данные. По итогам может понадобиться исправить перевод, уточнить оригинал или улучшить измерение.

Это руководство поможет разобрать замечания, уже полученные при проверке. Проектирование измерений посвящено самому критерию, а разбор обратной связи — исправлениям после подтверждения проблемы.

Восстановите условия сравнения #

Откройте результат и сохраните доступные в нём ответ, обоснование и идентификатор запроса или события. Сопоставьте их с той редакцией перевода, которую действительно проверяли, и соответствующей редакцией оригинала. Используйте только данные, которые нужны для разбора и к которым у вас есть право доступа. Возможность прочитать результат не означает, что вам доступен полный архив редакций или экспорт.

Убедитесь, что критерий применим. В названии пункта навигации нет обещания о сроках доставки, которое нужно сохранить. Предложение о доставке, для которого нет соответствующего оригинала, по-прежнему подходит для оценки сохранения утверждений, но данных для вывода пока недостаточно. Различайте три ситуации: данных не хватает, применимость критерия неясна или проверка завершена с неопределённым ответом.

Если перевод сделан до изменения оригинала, он может быть устаревшим, но при этом верным для исходной редакции. Если не удаётся установить, какие редакции проверялись, оставьте замечание нерешённым. Не оценивайте прежний ответ по последней версии текста.

Проверьте, действительно ли изменился смысл #

Рассмотрим пример оригинала: Ваш заказ прибудет в течение пяти рабочих дней. Перевод со смыслом может прибыть в течение пяти рабочих дней ослабляет это обещание. Формулировка будет доставлен в течение пяти дней по рабочему календарю может сохранить его — в зависимости от локали и правил компании.

Читайте срок, оговорки и степень уверенности вместе. Совпадения числа недостаточно, но и другая формулировка сама по себе не ошибка. Попросите проверяющих указать фрагменты оригинала и перевода, объяснить исходный смысл и показать, где перевод сохраняет или меняет его.

Чётко фиксируйте итоги в журнале решений команды:

ИтогПодтверждающие данные и следующий шаг
Подтверждённая ошибка переводаУкажите, как изменился смысл или какое требование нарушено, затем предложите исправление.
Ложное срабатываниеОбъясните, почему перевод допустим по этому критерию, и сохраните пример для улучшения модели-оценщика.
Проблема в оригиналеУкажите неоднозначность или противоречие и попросите ответственных за оригинал устранить проблему.
Не решеноУкажите, каких данных не хватает или в чём разногласие. Не отмечайте перевод ни как прошедший проверку, ни как ошибочный.

Эти обозначения нужны для записей по методике и не означают, что в продукте предусмотрены такие статусы. Даже уверенное объяснение модели-оценщика — это утверждение, которое нужно проверить.

Разбирайте разногласия на нужном уровне #

Знание продукта и знание языка помогают ответить на разные части вопроса. Если проверяющие спорят о том, исключает ли понятие «рабочие дни» местный праздник, уточните правила продукта у ответственных за них. Если с правилами все согласны, но расходятся в оценке формулировки перевода, соберите языковые данные, которые помогут разрешить спор.

Запишите обоснование и укажите, кто отвечает за решение. Усреднение противоречащих друг другу категориальных оценок не подтверждает ошибку. Нерешённый случай может выявить неясное требование, даже если оба проверяющих хорошо знают язык.

Улучшайте критерий на основе разобранных примеров. Затем проверьте изменение на отдельном наборе, который не использовался при составлении инструкций к критерию. Сохраните прежнюю версию критерия, чтобы позднее можно было оценить результаты с учётом того, какой вопрос действительно задавался.

Проверьте набор замечаний #

Отберите примеры, охватывающие нужные языки, типы контента и предполагаемые уровни серьёзности. Включите вероятные ошибки, вероятные ложные срабатывания и неоднозначные случаи. Запишите способ отбора. Целенаправленно выбранные примеры помогают выявить типы сбоев, но не оценить их распространённость во всём контенте.

Выборка отмеченных переводов может показать, как часто выбранные замечания обоснованны. Но она не позволяет выявить все ошибки, которые модель-оценщик пропустила. Чтобы изучить пропуски, проверьте отдельно сформированную выборку неотмеченных переводов или независимо оценённых примеров. Не смешивайте эти группы при анализе.

Допустим, в выборке из 20 замечаний подтверждены 12 ошибок, 5 замечаний признаны ложными срабатываниями, а 3 остаются нерешёнными. Среди 17 замечаний с окончательным решением доля подтверждённых — 12/17, а доля замечаний с окончательным решением во всей выборке — 17/20. Укажите обе дроби и число нерешённых замечаний. Эти показатели описывают только выбранную выборку отмеченных переводов, а не долю ошибок во всех переводах или полноту выявления ошибок моделью-оценщиком.

Если нужна ещё и общая доля переводов, прошедших проверку качества, используйте определения совокупности, подходящей для оценки, знаменателя по результатам с определённым ответом и охвата из раздела проектирование измерений. Этот расчёт отвечает на другой вопрос, а не на то, как часто замечание подтверждалось.

Перейдите от диагноза к исправлению #

Исправьте подтверждённую ошибку перевода там, где хранится утверждённый текст. Передайте неоднозначность оригинала ответственным за него. Доработайте модель-оценщик, если она регулярно отмечает допустимые формулировки. Проблемы с доставкой или отображением текста исследуйте в системе, которая его загружает.

Локальное исправление и общая инструкция действуют в разном масштабе. Прежде чем превращать замечание в запись глоссария, правило или изменение тона бренда, выясните, где будет применяться это указание и не противоречит ли оно существующим требованиям. Затем используйте разбор обратной связи, чтобы предложить исправление в рамках ваших полномочий и повторно проверить полученную редакцию.