Когда локализация пошла не так, MCP-сервер открывает AI-ассистенту доступ ко всему стеку наблюдаемости: логи запросов, вердикты AI-эвалюатора, отчёты о совпадениях с глоссарием и результаты проверки правил. Разбирайте качество, не выходя из чата.
Логи запросов#
Каждый запрос на локализацию создаёт запись в логе с полным контекстом выполнения: какая модель его обработала, сколько было входных и выходных токенов, сколько времени заняла обработка, сработал ли fallback, а также полные входные и выходные данные.
"Покажи последний лог запроса для немецкого движка"
Помощник получает лог и может ответить на уточняющие вопросы: "Использовалась ли fallback-модель?" "Сколько токенов было потрачено?" "Каким был сырой вывод?"
Что есть в каждом логе#
| Поле | Что показывает |
|---|---|
| Провайдер / модель | Какая LLM обработала запрос |
| Входные / выходные данные | Точные входные данные, отправленные в систему, и полученная локализация |
| Входные / выходные токены | Расход токенов |
| Длительность | Время обработки в миллисекундах |
| Использован fallback | Сработала ли основная модель или был задействован fallback |
| Статус | success, error или in_progress |
| Текст ошибки | Подробности ошибки, если статус — error |
| Тип запуска | Пришёл ли запрос из API, CLI, CI, playground или интеграции |
Вердикты AI-эвалюатора#
С каждым логом запроса связаны логи запусков эвалюаторов — независимые оценки AI-эвалюатора, выполненные после того, как локализация была готова.
"Прошла ли последняя немецкая локализация все проверки эвалюаторов?"
Помощник получает логи запусков эвалюаторов для нужного запроса и показывает вердикт каждого: pass/fail (для булевых эвалюаторов) или процентный балл, а также обоснование, которое выдал AI-эвалюатор.
Поля лога запуска эвалюатора#
| Поле | Что показывает |
|---|---|
| Название эвалюатора | Какой AI-эвалюатор выполнялся |
| Тип эвалюатора | boolean (pass/fail) или percentage (0-100) |
| Результат оценки | Вердикт и обоснование |
| Провайдер / модель | Какая модель выполнила проверку |
| Длительность | Сколько времени заняла проверка |
Соблюдение глоссария#
"Все ли термины из глоссария были правильно применены в этой локализации?"
Помощник получает лог проверки глоссария по запросу, где показаны все совпавшие термины, применялись ли они, и обоснование, если нет.
Отчёт включает:
- Каждый совпавший исходный термин
- Ожидаемую целевую локализацию
- Является ли термин пользовательской локализацией или непереводимым
- Применён термин или нет
- Обоснование, если термин не был применён
- Общий уровень соблюдения
Соблюдение правил#
«Соблюдала ли французская локализация правило неразрывного пробела?»
Ассистент получает логи проверки правил — по одной записи на каждое правило, применённое к результату локализации. Для каждого указаны название, текст и вердикт «пройдено/не пройдено» с обоснованием.
Процесс отладки#
Типичный post-mortem диалог:
- "Немецкая локализация 'checkout flow' выглядит неправильно"
- "Покажи лог запроса по этому случаю" — посмотреть, что было на входе и что получилось на выходе
- "Глоссарий сработал?" — проверить, был ли 'checkout' найден и сохранён
- "Что показали эвалюаторы?" — посмотреть, отметил ли проблему какой-нибудь AI-эвалюатор
- "Термин из глоссария не совпал — обнови его, чтобы он также покрывал 'checkout flow'" — устранить первопричину
Весь цикл проходит в рамках одного диалога, без перехода в дашборд.
