Справочник Radar
Radar фиксирует всё, что происходит с вашими переводами, в виде событий и проверяет их с помощью измерений. Здесь мы объясняем все термины, которые встретятся вам на страницах Radar: типы событий и интеграции, которые их отправляют, кто создал перевод и что означает результат измерения. На панели управления в подразделе Справочник раздела Radar вы найдёте ту же информацию, а также собственные измерения вашей организации. Всё собрано в трёх разделах: События, Кто создал перевод и Измерения. Каждый раздел свёрнут, пока вы его не откроете.
Типы событий#
Событие фиксирует то, что произошло с отдельной строкой. Его тип — subject.action: объект указывает, к чему относится событие — к исходному тексту, переводу, предложению или запросу на локализацию Lingo.dev, а действие — что с ним произошло.
| Тип | Значение | Кто отправляет |
|---|---|---|
localization.started | Движок Lingo.dev начал выполнять запрос на локализацию. | Lingo.dev |
localization.completed | Движок Lingo.dev завершил запрос на локализацию. Событие содержит исходный текст, перевод и сведения о движке. Для этого события выполняются проверки соблюдения глоссария и правил, а также MQM. | Lingo.dev |
source.created | Появилась строка на исходном языке: новый ключ в исходном файле, новая статья, раздел или категория в справочном центре либо новая строка в Crowdin. | GitHub, Zendesk, Crowdin |
source.updated | Изменился исходный текст строки. | GitHub, Zendesk, Crowdin |
source.deleted | Строка на исходном языке удалена. | GitHub, Crowdin |
target.created | Появился перевод на целевой язык. Для него рассчитываются доля правок и расстояние редактирования, а также определяются закономерности правок. | GitHub, Zendesk, Crowdin |
target.updated | Перевод изменился. При сравнении с предыдущей версией от Lingo.dev рассчитываются доля правок и расстояние редактирования, а также определяются закономерности правок. | GitHub, Zendesk, Crowdin |
target.deleted | Перевод удалён. | GitHub, Crowdin |
suggestion.created | Предложен перевод: в Crowdin добавлен вариант перевода или Lingo.dev перевёл ключ в файле через CLI, CI или GitHub App. | Lingo.dev, Crowdin |
suggestion.updated | Предложение изменено. | Crowdin |
suggestion.deleted | Предложение удалено. | Crowdin |
suggestion.approved | Проверяющий одобрил предложение. | Crowdin |
suggestion.rejected | Проверяющий отклонил предложение. | Crowdin |
Репозиторий GitHub отправляет событие для каждого ключа локализации, добавленного, изменённого или удалённого в коммите. Справочный центр Zendesk отправляет событие для каждого поля статьи, раздела или категории при публикации на каждом языке. Crowdin передаёт события для отдельных строк через вебхуки. О том, как подключить каждый источник, читайте в разделе «Откуда приходят события».
К одной строке могут относиться несколько событий: предложение, его одобрение и обновлённый перевод — это три события. Прежде чем считать переводы, отфильтруйте события по типу.
Кто создал текст или результат#
Фильтр и столбец Автор в подразделе Журналы раздела Radar показывают, кто или что создало текст или ответ.
| Автор | Название | Значение |
|---|---|---|
llm | AI-модель | Большая языковая модель, например движок Lingo.dev или AI для предварительного перевода в Crowdin. |
human | Человек | Переводчик, проверяющий или коллега, который делает коммит в репозиторий. |
mt | Машинный перевод | Движок машинного перевода, например DeepL или Google Переводчик. |
tm | Память переводов | Ранее одобренный перевод, повторно взятый из памяти переводов. |
algo | Алгоритм | Программный код, а не модель или человек. Он вычисляет результат, например объём правок. |
Результаты измерений#
Каждое измерение возвращает результат для каждого события, к которому применяется. Фильтр Значение в разделе Radar, в подразделе Логи, в Измерениях позволяет отобрать результаты по виду:
| Значение | Значение результата |
|---|---|
| Пройдено | Измерение с результатом «пройдено» или «не пройдено» показало, что перевод соответствует критерию. Для частоты правок это означает, что человек изменил перевод. |
| Не пройдено | Измерение с результатом «пройдено» или «не пройдено» показало, что перевод не соответствует критерию. Для частоты правок это означает, что никто не менял перевод. |
| Оценено | Измерение выставило оценку по шкале от 0 до 100. Примеры таких измерений — MQM и объём правок. |
| Неприменимо | Вопрос не относится к событию. Например, проверка глоссария неприменима к исходному тексту без терминов из глоссария. Такой результат не учитывается при расчёте средних значений и доли успешных проверок. |
| Условие не выполнено | Тип события подходит для измерения, но язык, движок, источник или выборка не соответствуют его условиям. Результат — «Неприменимо». Судья не вызывается, плата не взимается. |
Встроенные измерения#
| Измерение | Что определяет | К каким событиям применяется |
|---|---|---|
| Соблюдение глоссария | Доля подходящих терминов глоссария, использованных в переводе | localization.completed |
| Соблюдение правил | Доля применимых правил, соблюдённых в переводе | localization.completed |
| MQM | Оценка от 0 до 100, рассчитанная по списку ошибок, найденных моделью | localization.completed |
| Частота правок | Менял ли человек перевод | target.created, target.updated |
| Расстояние редактирования | Какая доля текста изменилась, в процентах | target.created, target.updated |
| Шаблоны правок | Какие виды правок внесены в текст | target.created, target.updated |
В разделе AI-эвалюаторы описано, как каждое измерение вычисляет результат и как написать своё.