AI-оценки — это автоматические проверки качества: они анализируют переводы, которые выдаёт ваш движок локализации. После каждого запроса Lingo.dev запускает независимые LLM-оценки и проверяет результат — соответствие глоссарию, соблюдение правил и любые пользовательские критерии, которые вы задали. Проверки работают асинхронно и не задерживают ответ с переводом.
Как это работает#
Когда движок локализации завершает запрос на перевод, он ставит подходящие проверки в очередь на асинхронную оценку. Для каждой проверки запускается отдельная LLM, которая получает исходный текст, перевод, контекст и критерии оценки. На выходе она возвращает структурированный результат — «пройдено/не пройдено» или процентную оценку — с пояснением, если результат неидеален.
Во вкладке движка Reviews вы выбираете, какие проверки запускать для этого движка. Доступны три категории:
| Категория | Что проверяет | Тип результата | Конфигурация |
|---|---|---|---|
| AI-оценка элементов глоссария | Соответствуют ли переводы терминам глоссария, которые применяет движок | Пройдено / Не пройдено | Встроенный переключатель для каждого движка |
| AI-оценка правил | Соблюдают ли переводы каждое из правил, которые применяет движок | Прошло / Не прошло — для каждого правила | Встроенный переключатель для каждого движка |
| Пользовательские AI-эвалюаторы | Ваши собственные критерии оценки, заданные на уровне организации | Пройдено / Не пройдено или 0–100% | Выбираются для каждого движка из списка эвалюаторов уровня организации |
Встроенные AI-оценки#
В каждый движок локализации встроено два типа проверок — они сверяют переводы с конфигурацией движка. Включить или отключить их можно на вкладке Проверки.
AI-оценка элементов глоссария#
Проверяет, учтены ли в переводе все применимые термины глоссария. Если движок использует пользовательские переводы (например, «Deploy» → «Bereitstellen») или непереводимые термины (например, «OAuth»), проверка убеждается, что перевод их соблюл.
Проверка учитывает грамматические вариации: термин глоссария в одной форме применяется ко всем его формам. Если в глоссарии есть конфликтующие термины, перевод считается корректным, если соблюдён хотя бы один из них.
Результат — один общий вердикт «пройдено/не пройдено» для всего запроса на перевод с пояснением, если результат — «не пройдено».
AI-оценка правил#
Оценивает каждое правило отдельно. Если движок применяет три правила, проверка выдаёт три независимых вердикта «прошло/не прошло» — каждый с пояснением, если результат отрицательный.
Правила раньше назывались инструкциями
На дашборде, в переключателе вкладки «Проверки» и в отчёте Соблюдение правил они называются правилами. REST API по-прежнему открывает доступ к отдельному правилу по адресу /instructions.
Правило может вернуть результат «Н/П», если его критерии неприменимы к переводимому контенту. Например, правило о форме обращения вернёт «Н/П», если перевод содержит только название продукта или технический термин, где форма обращения неуместна. Результаты «Н/П» не учитываются в итоговых оценках.
Оба встроенных типа проверок запускаются только при наличии нужной конфигурации движка — если ни один термин глоссария не подходит для этой языковой пары, AI-оценка по глоссарию не выполняется.
Настройка проверок для каждого движка#
Откройте вкладку Reviews движка, чтобы выбрать, какие проверки будут запускаться для него. Во вкладке есть два раздела:
Встроенные переключатели в верхней части управляют AI-оценкой элементов глоссария и AI-оценкой правил. Они независимы: можно включить один без другого — в зависимости от того, что настроено в движке.
Пользовательские AI-эвалюаторы под переключателями показывают всех AI-эвалюаторов, заданных на уровне организации. Для конкретного движка каждого из них можно включать и отключать отдельно. Так вы сможете поддерживать общую библиотеку проверок качества и применять их выборочно.
Для одного движка могут одновременно работать и встроенные проверки, и несколько пользовательских AI-эвалюаторов. Все проверки запускаются асинхронно после каждого запроса на перевод, а результаты появляются в журнале переводов и в Reports.
Типы AI-эвалюаторов#
Булевы AI-эвалюаторы#
Возвращают бинарный вердикт: пройдено или не пройдено. Подходят для правил, которые либо соблюдены, либо нет.
Примеры:
- "Сохраняет ли перевод все HTML-теги и атрибуты?"
- "Правильно ли применены правила множественного числа для целевого языка?"
- "Использует ли перевод формальное обращение (Sie) в немецком языке?"
Результаты агрегируются как доля успешных проверок: 75% означает, что 3 из 4 оценённых переводов прошли проверку.
Процентные AI-эвалюаторы#
Возвращают оценку от 0 до 100. Используйте их для параметров качества, которые оцениваются по шкале.
Примеры:
- "Оцените, насколько естественно звучит перевод для носителя языка (0–100)"
- "Оцените, насколько хорошо перевод сохраняет исходный тон и намерение (0–100)"
- "Оцените грамматическую корректность по шкале от 0 до 100"
Результаты агрегируются как средние значения за период оценки.
Конфигурация AI-эвалюатора#
| Поле | Описание |
|---|---|
| Name | Название AI-эвалюатора (например, "Проверка множественного числа") |
| Instruction | Критерии оценки, сформулированные естественным языком |
| Type | boolean (пройдено/не пройдено) или percentage (0–100) |
| Source locale | Исходная локаль, с которой должно быть совпадение, или * для любой |
| Target locale | Целевая локаль, с которой должно быть совпадение, или * для любой |
| Provider / Model | LLM, используемая для оценки (независимо от модели перевода) |
| Sampling | Процент запросов, которые будут оцениваться (0–100%) |
| Allow N/A | Может ли AI-эвалюатор возвращать "неприменимо" для нерелевантных пар |
| Enabled | Позволяет включить или отключить проверку без удаления конфигурации |
Как писать инструкции для AI-эвалюатора#
Поле инструкции — ключевая часть AI-эвалюатора. Оно точно задаёт LLM-эвалюатору, что именно нужно проверять. Формулируйте его как конкретный и проверяемый критерий.
Хорошие инструкции#
Булевы:
Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.Процентные:
Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.Что делает инструкцию хорошей#
- Конкретные критерии — чётко определяйте, что означает «пройдено/не пройдено» или что представляют собой 0 и 100
- Наблюдаемые результаты — LLM должна оценивать по самому тексту, а не догадываться о намерении
- Один критерий на одного AI-эвалюатора — разделяйте многомерные проверки качества на отдельных AI-эвалюаторов
Сопоставление локалей#
AI-эвалюаторы сопоставляются с запросами на перевод по исходной и целевой локали. Подстановочный знак * соответствует любой локали.
| Исходная локаль | Целевая локаль | Совпадения |
|---|---|---|
en | de | Только переводы с английского на немецкий |
en | * | Любой перевод с английского |
* | ja | Любой перевод на японский |
* | * | Все переводы |
Один запрос на перевод может запускать несколько AI-эвалюаторов, если его паре локалей соответствуют сразу несколько правил.
Сэмплирование#
Проверять каждый перевод необязательно. Частота сэмплирования определяет, какой процент подходящих запросов будет оценён.
| Сэмплирование | Поведение |
|---|---|
| 100% | Проверяется каждый подходящий запрос (максимальная полнота, но выше стоимость) |
| 50% | Проверяется примерно половина подходящих запросов |
| 10% | Один из десяти — полезно для движков с большим объёмом, где тренды важнее отдельных оценок |
| 0% | AI-эвалюатор фактически приостановлен без его отключения |
Сэмплирование применяется в момент запроса с помощью случайной проверки. На достаточном объёме запросов фактическая доля оценок будет стремиться к заданному проценту.
Поддержка N/A#
Когда allowsNA включено, LLM проверки может вернуть "неприменимо" вместо оценки. Это полезно для AI-эвалюаторов, чьи критерии подходят не для каждой пары локалей.
Пример: AI-эвалюатор, проверяющий правила формального обращения, возвращает N/A для переводов English → English (в английском нет различия между формальным и неформальным обращением), но возвращает оценку для English → German.
Результаты N/A исключаются из средних значений и долей успешных проверок в отчётности — они не занижают и не завышают итоговые оценки.
Пояснение#
AI-эвалюаторы добавляют пояснение для неидеальных результатов, чтобы вы могли понять, что именно пошло не так:
- Идеальная оценка (пройдено или 100%) — пояснение равно null (объяснять нечего)
- N/A — пояснение равно null
- Неидеальная оценка — краткое объяснение в одном предложении
Так результаты проверки становятся действительно полезными: если перевод не проходит проверку, пояснение сразу показывает почему — без ручного разбора.
Модель проверки#
У каждого AI-эвалюатора своя конфигурация провайдера LLM и модели, независимая от модели перевода. Это сделано намеренно: модель, которая создаёт перевод, не должна быть той же самой моделью, которая его оценивает.
Независимость моделей
Если для проверки использовать модель, отличную от той, что выполняла перевод, вы получаете независимую оценку. Если перевод создаёт GPT-4o, а проверяет Claude Sonnet, это уже второе мнение, а не самооценка.
Отчёты AI-эвалюатора#
Результаты проверок визуализируются на панели управления в разделе отчётов AI-эвалюатора. Там вы увидите:
- Долю успешных проверок во времени — для булевых AI-эвалюаторов, в виде дневных процентов
- Средние оценки во времени — для процентных AI-эвалюаторов, в виде дневных средних значений
- Разбивку по парам локалей — чтобы видеть, как отдельно работает каждая пара источник → цель
- Агрегированный вид — чтобы объединить все пары локалей в одну линию тренда
Отчёты AI-эвалюатора дополняют ориентированные на объём Reports — вместе они дают полную картину и по производительности, и по качеству.
Управление AI-эвалюаторами через MCP#
Если вы используете Lingo.dev MCP server, ваш AI-помощник для разработки может создавать и настраивать AI-эвалюаторов напрямую:
"Create a boolean AI reviewer for all locale pairs that checks
whether HTML tags are preserved in translations.""Add a percentage AI reviewer for English to German that rates
translation fluency on a 0-100 scale, sampling 50% of requests."