Измерение качества

Проверяйте, какой смысл передают переводы, находите повторяющиеся проблемы с качеством и понимайте, какую долю контента охватывают данные.

Перевод может звучать естественно и всё же менять авторский смысл. Точный термин может стать неоднозначным, возможность — обещанием, а условие — исчезнуть. Измерение качества помогает выявлять и разбирать такие различия, в том числе в языках, которыми владеют не все в команде.

Lingo.dev позволяет выполнять заданные проверки переводов, созданных здесь или в других системах. Можно проверить терминологию, соблюдение требований к тексту или различия между черновиком и отредактированной версией. Результат полезен, если читатель видит, что именно проверяли, что означает ответ и к каким переводам он относится.

Начните с того, что должно остаться неизменным #

Исходный текст — не просто набор слов для замены. Он сообщает читателю, что происходит, при каких условиях и насколько уверенно этого можно ожидать. Проверка смысла должна учитывать эти связи. Недостаточно найти одинаковое название продукта или число в обеих версиях.

Например, разница между может и будет способна превратить возможность в обязательство. Проверка терминологии и проверка смысла отвечают на разные вопросы об этом предложении. Обе полезны, но одна не заменяет другую.

Выберите вопрос, важный для вашего контента. От него зависит, какие данные понадобятся:

Вопрос о качествеЧто нужно для проверки
Сохраняет ли перевод смысл исходного текста?Исходный текст и соответствующий ему перевод, а также контекст для прояснения неоднозначностей.
Правильно ли в переводе используется термин продукта?Термин, его задуманное значение и границы применения, а также текст, к которому он относится.
Соответствует ли перевод заданному тону?Конкретное требование к тону и аудитория или ситуация, для которой оно задано.
Сколько правок внесено при проверке?Именно тот черновик, который редактировали, и соответствующая ему отредактированная версия.

Последний вопрос измеряет объём редактирования. Сам по себе он не объясняет, исправили ли правки ошибки или улучшили текст. Прежде чем считать результат измерения оценкой качества, прочитайте, что именно оно измеряет.

Выберите способ запуска проверки #

От того, с чего вы начинаете, зависит, как Lingo.dev получает данные и где появится результат. Для измерения качества не нужно переносить перевод в Lingo.dev.

С чего начатьРабочий процесс и результат
CrowdinПодключите Crowdin и выберите измерения событий. Данные и результаты появятся в Radar, если у вас есть доступ к этой функции.
Локальные файлыЗапустите lingo score, указав модуль оценки и конфигурацию модели. Команда запишет результат в локальный файл, не добавляя его в Radar.
Запросы Lingo.devВключите автоматическую проверку для нужных движков локализации или выберите движки и языковые пары в условии измерения. Ответы появляются в Radar после каждой завершённой локализации.

Для другого внешнего рабочего процесса сначала выберите поддерживаемый способ передачи текста. В разделе Как собрать переводы описаны доступные способы приёма данных и сведения, которые нужно сохранять. Создание собственной проверки не добавляет универсальную конечную точку для загрузки.

Для собранных событий встроенные измерения предлагают готовые проверки, например соблюдение глоссария и расстояние редактирования. Пользовательские измерения позволяют задать собственный критерий организации. Настройте выбранную проверку, прежде чем создавать тестовые события. Чтобы проверить уже собранные события, используйте оценку исторических данных. Вы можете измерить только события без ответа или повторить измерение за выбранный период. Сначала сохраните определения и результаты, нужные для сравнения: повторный запуск заменит прежние ответы этого измерения за выбранный период.

Изучите один результат, прежде чем полагаться на остальные #

Рассматривайте оцениваемый текст вместе с критерием. Прочитайте пояснения и замечания и сопоставьте их с формулировками, к которым они относятся. Если проверка не пройдена, у команды должен появиться конкретный вопрос, который нужно решить: изменила ли формулировка задуманное действие? Было ли это действие неясным уже в исходном тексте? Или модель-оценщик неверно поняла допустимый перевод?

Убедитесь, что ответ относится к версии, которую вы изучаете. Если после оценки перевод отредактировали, прежний ответ описывает прежний текст. И ещё: если проверка не смогла дать ответ, это не то же самое, что отсутствие проблем. В разделе Результаты объясняется, как по доступным записям отличить полученные ответы от случаев, когда не хватило данных или оценка завершилась неудачно.

Разбор одного случая помогает убедиться, что результат проверки понятен. Прежде чем полагаться на неё при работе со всем набором текстов, протестируйте её на известных ошибках и допустимых переводах, включая естественные перефразировки. Проверка, которая постоянно отмечает хорошие тексты как проблемные, создаёт лишнюю работу. А проверка, которая упускает существенное изменение, оставляет вопрос без ответа.

Оцените масштаб проблемы #

Следующий вопрос — как часто возникает проблема и какие языки или типы контента она затрагивает. Указывайте это вместе с объёмом проверенного материала. Высокая доля успешных проверок мало что говорит о языке, если ответы получены лишь для немногих переводов.

Перейдите к разделу Как разработать измерение качества перевода, чтобы определить критерий, протестировать модель-оценщик и рассчитать результат с понятным смыслом. Этот подход помогает превратить отдельные находки в данные, на основе которых команда сможет расставлять приоритеты проверки, сравнивать поставщиков и менять процесс перевода. Решения остаются за командой.