Встроенные измерения
Как работают встроенные проверки качества и правок: входные данные, алгоритмы, шкалы ответов и результаты при нехватке данных.
Встроенные измерения отвечают на конкретные вопросы о переводе или правке. Доля правок показывает, различаются ли два текста. Соблюдение глоссария — использованы ли нужные термины. Эти значения полезно рассматривать вместе, если каждое сохраняет свой смысл. Единой шкалы качества они не образуют.
Включите эти проверки в разделе Измерения. Соблюдение глоссария и правил вы также можете включить для отдельного движка на вкладке Оценщики, как описано в статье Как проверять переводы Lingo.dev. Этот справочник объясняет, что вычисляет каждое измерение и какие данные могут подтвердить его ответ.
MQM #
MQM просит модель только перечислить ошибки перевода, но не выставлять оценку. Для каждой ошибки модель возвращает точные слова с ошибкой, одну из семи категорий MQM Core (точность, терминология, языковые нормы, стиль, нормы локали, соответствие аудитории, дизайн и разметка), степень серьёзности (нейтральная, незначительная, значительная или критическая) и одну строку с описанием проблемы. Если в событии указан движок локализации, модель также получает его текущие рекомендации: тональность бренда для этого языка, правила и термины глоссария, которые встречаются в исходном тексте, а также контекст запроса.
MQM также оценивает изменения перевода: каждое создание и обновление целевого текста независимо от того, кто его изменил. В Zendesk и GitHub версия, записанная Lingo.dev, оценивается с учётом тональности бренда, правил и терминов глоссария, использованных при её переводе. Что считается версией Lingo.dev, определено ниже, в разделе о доле правок. В ответе указывается задание, создавшее эту версию. Любая другая версия — например, ручная правка, откат, перевод другого инструмента или изменение в Crowdin — оценивается без рекомендаций какого-либо движка. Поле isLingoRecord в ответе позволяет различать эти случаи: false для таких сторонних версий и true для всех остальных ответов, включая завершённые локализации. Так раздел «Обзор» может сравнивать переводы Lingo.dev с остальными. В событиях изменения перевода движок не указан, поэтому условие MQM с ограничением по движкам возвращает для них N/A.
Оценка рассчитывается по этому списку. Ошибки, для которых указаны слова, отсутствующие в переводе, отбрасываются. Каждой оставшейся ошибке присваивается вес: нейтральной — 0, незначительной — 1, значительной — 5, критической — 25. Сумма нормализуется на 100 слов исходного текста:
max(0, 100 − 100 × summed error weights / source word count)Сто баллов означает отсутствие ошибок. По той же формуле рассчитывается оценка для каждой категории. Слова исходного текста подсчитываются в текстовых значениях, а не в ключах. Для письменностей без пробелов, например китайской, японской, корейской и тайской, каждый символ считается одним словом. Если в исходном тексте нет слов, возвращается N/A без обращения к модели.
MQM запускается для событий завершённой локализации, а также при создании и обновлении целевого текста. Проверки соблюдения глоссария и правил настраиваются для событий завершённой локализации. Доля правок, расстояние редактирования и типы правок рассчитываются при создании и обновлении целевого текста. Допустимые типы событий для встроенных измерений задаёт платформа. При включении измерения проверьте его текущие настройки.
Доля правок #
Доля правок сравнивает изменённый целевой текст с предыдущей версией строки: последним ранее созданным или обновлённым целевым текстом для той же строки и локали. Если такой записи нет, используется текст до изменения, переданный в событии. Перед сравнением удаляются пробельные символы в начале и конце, а каждая последовательность пробельных символов внутри текста заменяется одним пробелом. Строка без предыдущей версии считается неизменённой.
Там, где Lingo.dev сам записывает переводы, три измерения правок дают ответы для каждой записанной им версии и для ручного изменения этой версии. Lingo.dev фиксирует каждый переданный перевод: то, что синхронизация записывает в Zendesk или отправляет коммитом в GitHub, и то, что возвращают API, CLI и CI. Версия считается записанной Lingo.dev в двух случаях: если это собственная запись Lingo.dev, определённая по коммиту или временной метке Zendesk, либо если она содержит последний перевод, который Lingo.dev передал для этой строки до появления версии, например через CLI. Каждый перевод учитывается один раз — в первой версии, которая его содержит. Если после ручной правки появляется версия, возвращающая этот перевод, она считается ручным откатом.
В этих источниках версия, записанная Lingo.dev, всегда считается неизменённой: доля правок — false, расстояние редактирования — 0, а типы правок неприменимы. Версия с ручными правками, которая идёт сразу после версии Lingo.dev, сравнивается с ней: доля правок — true, расстояние редактирования показывает объём изменения, а типы правок — его характер. Если текст Lingo.dev сохранён без изменений, кроме пробельных символов, ответ для изменения — «неприменимо» («Текст Lingo.dev сохранён»). То же относится к изменению версии, которую записал не Lingo.dev, или к случаю, когда предыдущая версия не зафиксирована («Предыдущая версия записана не Lingo.dev»), включая последующие ручные правки и ручной откат к тексту Lingo.dev. Таким образом, каждый false соответствует одному переводу, записанному Lingo.dev, а каждый true — одному переводу, изменённому вручную. Доля правок — это число ответов true, делённое на число ответов false: если из 100 переводов, записанных Lingo.dev, изменены 5, доля составляет 5 %. Среднее расстояние редактирования на перевод Lingo.dev аналогично равно сумме расстояний изменений, делённой на число версий Lingo.dev.
В других источниках, например Crowdin, Lingo.dev не записывает переводы, поэтому изменение сравнивается с предыдущей версией независимо от того, кто создал каждую из них.
| Ответ | Значение |
|---|---|
true | Нормализованные тексты различаются. В Zendesk и GitHub это означает, что версию Lingo.dev изменили вручную. |
false | Нормализованные тексты совпадают либо, для источников вне Zendesk и GitHub, у строки нет предыдущей версии. В Zendesk и GitHub это означает, что версию записал Lingo.dev. |
| N/A | В Zendesk и GitHub текст Lingo.dev сохранён без изменений либо предыдущую версию записал не Lingo.dev. |
Например, при сравнении Save changes и Save changes изменений не обнаружится, а при сравнении Save changes и Apply changes — обнаружатся. Ни один из результатов не говорит о том, какая формулировка лучше.
Если черновик есть, но поле целевого текста отсутствует, система сравнивает черновик с пустым целевым текстом. Прежде чем считать это завершённой ручной правкой, проверьте данные события. Для набора сравнений указывайте долю пар с правками среди пригодных для сравнения пар «черновик — целевой текст» и отдельно показывайте отсутствующие сравнения.
Расстояние редактирования #
Расстояние редактирования рассчитывается по алгоритму Левенштейна для исходных, ненормализованных текстов: это число вставок, удалений и замен, необходимых, чтобы превратить один текст в другой. Это расстояние делится на длину более длинного текста и умножается на 100.
Ноль означает, что тексты идентичны. Чем выше значение, тем больше текстовых изменений. Для двух пустых строк результат равен нулю, как и для строки без предыдущей версии. Отсутствующий целевой текст считается пустым, как и при расчёте доли правок.
Система сравнивает кодовые единицы UTF-16, а не слова или символы, как их воспринимает человек. Совпадающие начало и конец текстов пропускаются. Если оставшиеся различающиеся части образуют более чем около 3,2 миллиарда пар символов — например, два не связанных между собой текста по 57 000 символов каждый, — возвращается ответ «неприменимо» с причиной «Тексты слишком длинные для сравнения». Пробельные символы могут влиять на расстояние редактирования, даже когда доля правок считает пару неизменённой. Изменение одной кодовой единицы также даёт больший процент для короткой строки, чем для длинной.
Используйте оба измерения вместе, чтобы отличать частые мелкие правки от редких масштабных переработок. Вне Zendesk и GitHub сначала проверьте, какие версии сравниваются: предыдущей версией может быть более ранняя правка, а не переданный перевод. Ни одно из измерений не показывает, сколько ошибок исправлено, сколько времени затрачено или насколько улучшилось качество.
При обобщении данных о расстоянии редактирования указывайте способ расчёта. Усреднение процентов по парам даёт каждой паре одинаковый вес. Деление суммарного абсолютного расстояния на суммарную длину сравнения даёт больший вес длинным текстам. Ответ для отдельного события не определяет, какую из этих формул использовать.
Соблюдение глоссария #
Проверка соблюдения глоссария сопоставляет исходный и целевой тексты с терминами, подключёнными к движку локализации на момент оценки. Для неё нужны исходный текст, целевой текст и идентификатор движка локализации. Из подключённых терминов выбираются те, у которых совпадает целевая локаль, а исходная формулировка встречается в исходном тексте перевода. Поиск выполняется по подстроке без учёта регистра.
Судья оценивает каждый переданный термин. Его инструкции допускают естественное изменение грамматической формы заданных переводов, требуют сохранять непереводимые термины без изменений, разрешают стандартный перевод, если контекстная подсказка явно неприменима, и принимают один из нескольких противоречащих друг другу вариантов для одного термина. Поэтому высокая оценка не означает, что противоречивые определения в глоссарии — хорошая практика.
Оценка рассчитывается так:
returned findings marked applied / all returned term findings × 100Здесь подсчитываются возвращённые результаты проверки, а не каждое вхождение термина или каждая запись в глоссарии организации. Пропущенные термины отражаются в пояснении. Если судья не вернул ни одного результата проверки, итоговый ответ не содержит определённой оценки.
Если нет обязательных полей, подходящего движка локализации, подключённых терминов или терминов, выбранных из исходного текста, N/A может вернуться ещё до запуска судьи. Прочитайте причину. Действительно неподходящий термин не требует оценки. Но если для сообщения должны были найтись данные о терминологии, их отсутствие всё равно означает нехватку данных для оценки.
Это измерение использует текущие рекомендации как для новых событий, так и при обработке истории. Оно не восстанавливает глоссарий, который использовался при генерации. В разделе Запросы показаны исходный пакет и попытки модели, но нет полного снимка промпта или глоссария. Прежде чем сравнивать оценки исторических событий, сохраните переданный контекст и определения нужных терминов. Для согласованных изменений терминологии используйте раздел Глоссарии.
Соблюдение правил #
Проверка соблюдения правил использует исходный текст, целевой текст, идентификатор движка локализации и текущие подключённые правила, применимые к целевой локали. Судья возвращает один результат для каждого переданного правила: соблюдено, не соблюдено или null, если правило неприменимо.
Оценка рассчитывается так:
returned findings marked followed / returned non-null rule findings × 100Результаты со значением null исключаются. Если все возвращённые результаты равны null, судья может завершить работу без общей оценки. Если же отсутствуют исходный текст, целевой текст или данные о движке локализации, судья может вообще не запуститься. Оба случая могут отображаться как N/A, поэтому проверьте причину и доступные данные о выполнении.
Прежде чем менять перевод, прочитайте нарушенное правило и слова, к которым оно относится. Неоднозначное или противоречивое правило может потребовать уточнения в разделе Правила. Как и при проверке соблюдения глоссария, для оценки исторических событий используются текущие подключённые рекомендации, а не их снимок на момент генерации.
Типы правок #
При анализе типов правок модель классифицирует изменения между черновиком и целевым текстом. Одному сравнению она может присвоить несколько категорий:
| Метка | Описываемое изменение |
|---|---|
register | Степень формальности или вежливости. |
word_choice | Другая формулировка с тем же смыслом. |
terminology | Термин продукта или предметной области. |
reordering | Порядок слов или частей предложения. |
grammar | Согласование, падеж, время или другие грамматические особенности. |
punctuation | Пунктуация или пробелы. |
addition | Добавление смысла, пропущенного в черновике. |
omission | Удаление смысла, добавленного в черновике. |
mistranslation | Изменение трактовки смысла. |
formatting | Плейсхолдеры, разметка, регистр или числа. |
Классификатор пропускает строки без предыдущей версии и тексты, которые совпадают после нормализации пробельных символов. Его метки описывают предполагаемые типы изменений, а не независимо подтверждённые ошибки или экономию времени.
Сейчас при получении списка результатов и подробностей возвращаются только логические и числовые ответы. Хотя в контракте подробного ответа есть поле answer для структурированных данных, эти операции пока не возвращают сохранённые JSON-записи типов правок. Опирайтесь на доступные сравнения правок и проверяйте сам текст, а не рассчитывайте получить из этих операций экспорт с разбивкой по категориям.
Использование и трактовка результатов #
Доля правок и расстояние редактирования рассчитываются без затрат на LLM. Успешные измерения учитываются отдельно, поэтому нулевые затраты на модель не означают, что само измерение бесплатно. В разделе Затраты объясняется, что входит в учёт, а в разделе Результаты — что означают ответы null и охват.