Качество, в котором можно разобраться

Мы отвечаем за то, чтобы изменения смысла были заметны и измеримы, а команды локализации могли принимать решения по собственным стандартам.

Команды локализации вправе понимать, насколько качественны их переводы. Даже носители языка могут упустить нюансы предметной области. Дорогая модель может выдать откровенно плохой текст. Оценка должна показывать, как перевод меняет смысл: где точный термин стал неоднозначным, возможность превратилась в обещание или исчезло важное условие. А ещё — как часто это происходит и в каких языках.

Это важно, потому что команда отвечает за контент, который не может прочитать на всех языках. Одного впечатления, что текст звучит гладко, мало: нужно знать, правильно ли читатели поймут, что делать, и поверят ли именно в то, что хотел донести автор. Полезная оценка связывает слова перевода с авторским замыслом.

Сохранять авторские решения #

Редактируя текст, авторы решают, что нужно объяснить, что можно считать известным и какой аргумент убедит читателей. Уточнение может сделать утверждение точным. Тщательно подобранный термин — разграничить два понятия в продукте. Сдержанная фраза — вызвать доверие, не преувеличивая вес доказательств.

Перевод должен сохранять эти решения в другом языке. Структура предложений может сильно измениться, а смысл — остаться точным. И наоборот: привычные слова и гладкие формулировки могут скрывать изменение авторского утверждения. Ни подсчёт совпадающих терминов, ни оценка одной лишь естественности текста не объяснят эту разницу.

В основе нашей оценки — требования команды. Они связывают язык с задачей, которую должен решать контент. Знание продукта помогает понять, к какому действию должен вести текст, а знание языка — что, скорее всего, поймут читатели. Программные инструменты должны помогать объединять эти знания, особенно когда ими обладают разные люди.

Делать оценку открытой для проверки #

Оценку качества должно быть легко объяснить: что проверяли, как проверяли и как объединили результаты. Командам нужны инструменты, чтобы задавать критерии исходя из того, что важно для их контента.

Это задаёт высокую планку для нашей работы. Каждое замечание должно указывать на конкретный фрагмент и объяснять, как мог измениться смысл. Метод должен отличать допустимое перефразирование от потери смысла. Отчёт должен показывать, на чём основан вывод: на нескольких выбранных примерах, репрезентативной выборке или всём проверенном наборе. Без этих связей команда получает число, но выяснять, что оно означает, приходится самостоятельно.

Саму оценку тоже нужно проверять. Ложное срабатывание может отвлечь квалифицированных специалистов от реальных проблем. Потерянное условие может иметь значение, даже если средняя оценка растёт. Инструменты оценки должны позволять командам тестировать проверку на понятных примерах, разбирать расхождения и отличать пропущенные ошибки от допустимых формулировок, отмеченных как ошибочные. У таких промахов разные последствия. Если свести их к общей доле совпадений, можно скрыть именно тот тип ошибок, который важен для задачи.

Превращать результаты в полезные решения #

Отчёт о качестве не должен заставлять менеджеров локализации гадать, что исправить. Он должен показывать, какие фрагменты не отвечают требованиям команды и какие проблемы повторяются.

Такие закономерности требуют разных решений. Неверно переведённое предложение нужно исправить. Чтобы устранить повторяющуюся неоднозначность, может понадобиться больше контекста о продукте. Непоследовательное употребление термина может указывать на противоречия между записями в глоссарии. Большое число ошибок в одной языковой паре — повод внимательнее сравнить поставщиков или модели. Если свести все четыре случая к низкой оценке, за ней скроется реальный выбор, который предстоит команде.

Наша задача — сделать данные проверки полезными для этого выбора. Сравнивать поставщиков нужно на одном и том же контенте и по одинаковым критериям, с достаточным охватом, чтобы изучить важные для команды языки. Отчёт должен отличать повторяющуюся проблему от различий, вызванных выборкой, и не терять серьёзные замечания, которые может скрыть средняя оценка. Тогда команда сможет сопоставить выявленные различия со своим контентом, бюджетом и зоной ответственности и объяснить, почему тот или иной компромисс допустим.

Сохранять ясность, когда работа меняется #

Новая модель, обновлённый глоссарий или другой состав контента могут изменить результаты. Полезная оценка должна помогать объяснять эти изменения. Недостаточно сравнить два средних значения, если одно получено на новых сложных языках, а другое — на знакомом материале или если между проверками изменилось само определение ошибки. Повторная проверка сохранённых примеров по обоим определениям помогает отделить изменения в оценке от изменений в переводе. Отчёт о случаях, по которым пока нет ответа, с разбивкой по языкам показывает, где для сравнения ещё не хватает данных.

Мы считаем, что инфраструктура локализации должна сохранять связь между требованием, проверенным текстом и полученными данными. Эта связь позволяет команде учиться на повторяющейся работе и не путать рост активности с улучшением качества. Она также делает разногласия полезными: люди могут разобрать один и тот же фрагмент и критерий вместо того, чтобы спорить, стоит ли доверять оценке.

Руководство по разработке системы оценки развивает этот подход в практический метод. Цель — дать команде локализации возможность объяснять качество своей работы, находить проблемы, которые заслуживают внимания, и решать, что изменить, ясно понимая, на каких данных основан выбор.