Crowdin как источник данных для измерений
Собирайте в Radar данные о работе с переводами в Crowdin и анализируйте текст и процесс редактирования с помощью настроенных измерений.
Создавайте и проверяйте переводы в Crowdin, а их качество анализируйте в Lingo.dev. Подключение Crowdin принимает поддерживаемые события на уровне строк и передаёт их текст в Radar как данные для измерений. Переводы и рабочий процесс публикации остаются в Crowdin.
В меню Studio 2.5 откройте Интеграции в разделе Studio 2.5, а не в разделе Настройки. Существующие ссылки для подключения и настройки работают как раньше.
Изменение исходного текста, новый вариант перевода, одобрение и обновление экспортируемого перевода отражают разные стороны работы. Подключение сохраняет эти различия, чтобы каждое измерение анализировало именно тот текст или изменение, которые ему нужны. Оно не создаёт переводы и не отправляет исправленный текст обратно в Crowdin.
Подключите источник #
- В нужной организации Lingo.dev откройте подраздел Интеграции в разделе Настройки и выберите Подключить для Crowdin. Если подключение недоступно, проверьте, есть ли у организации доступ к этой возможности.
- Введите Название подключения. Для crowdin.com оставьте поле Домен Enterprise пустым. Для Crowdin Enterprise введите часть перед
.crowdin.com, напримерacme, затем выберите Подключить. - Скопируйте полученный URL вебхука. В каждом проекте Crowdin, данные которого хотите измерять, откройте подраздел Вебхуки в разделе Инструменты. Добавьте вебхук с этим URL, методом POST и телом запроса в формате JSON. Выберите поддерживаемые события на уровне строк из списка ниже.
Храните URL вебхука так же, как учётные данные: принимающая сторона использует секрет в URL для авторизации входящих событий. Не добавляйте его в обращения в поддержку и файлы репозитория. Одно подключение организации может принимать события из нескольких проектов — каждое событие содержит идентификатор проекта. Запишите, какие проекты вы настроили, чтобы позже понимать, какие данные охватывает отчёт.
Выберите нужные события на уровне строк #
Подпишитесь на поддерживаемые события на уровне строк в Crowdin:
| События Crowdin | Передаваемые данные |
|---|---|
string.added, string.updated, string.deleted | Действия с исходной строкой. |
suggestion.added, suggestion.updated, suggestion.deleted | Действия с вариантом перевода. |
suggestion.approved, suggestion.disapproved | Действия при проверке предложенного варианта. |
translation.updated | Разница между старым и новым текстом экспортируемого перевода. |
Для экспортируемого перевода пустое старое значение и непустое новое означают создание. Два непустых значения означают обновление, а непустое старое и пустое новое — удаление. Одобрение предложенного варианта и изменение экспортируемого перевода — отдельные события.
Адаптер не преобразует события на уровне файлов, такие как file.approved и file.translated, в данные для измерений на уровне строк. Неподдерживаемые типы событий и события без идентификатора проекта или строки могут пропускаться. Для первой проверки используйте поддерживаемое событие на уровне строки: успешная доставка вебхука сама по себе ещё не доказывает, что полученные данные пригодны для измерений.
Проследите путь одного изменения перевода до измерения #
Для первого теста используйте встроенное измерение расстояния редактирования. Оно запускается при создании и обновлении перевода и сравнивает новый перевод строки с предыдущим. Включите измерение в Radar, прежде чем выполнять тестовые действия.
- Выберите знакомый вам проект, строку и целевой язык, для которого уже есть перевод. Запишите этот перевод и текст, который собираетесь одобрить.
- Одобрите отредактированный вариант в обычном рабочем процессе проверки в Crowdin и проверьте доставку
translation.updatedна настроенный вебхук. - Найдите соответствующее событие перевода в Lingo.dev. Сверьте проект, читаемый ключ, локаль и перевод с записанной парой текстов. Если измерение сравнивает новый перевод не с той предыдущей версией, которую вы ожидали, проверьте более ранние события строки, прежде чем интерпретировать расстояние.
- Откройте результат измерения расстояния редактирования. Проверьте определение измерения, сравниваемые тексты и итоговый числовой ответ. В справочнике встроенных измерений описаны знаменатель расчёта и ограничения, связанные с единицами подсчёта символов.
Этот тест связывает одно действие в сервисе-источнике с ответом, который вы позже будете интерпретировать. У первого перевода строки нет предыдущей версии, поэтому измерение расстояния редактирования возвращает 0. Само одобрение записывается как suggestion.approved и не запускает ни одно из измерений правок. Встроенные проверки глоссария и правил обрабатывают события завершённой локализации, а не правки или одобрения в Crowdin. Чтобы измерять другой тип событий, настройте собственное измерение для конкретного события и доступных в нём данных. Изменить условия запуска встроенных измерений нельзя.
Метки времени и сведения об авторах событий помогают связать запись с её источником, но их смысл зависит от типа действия. Для событий перевода и предложений, включая одобрения, используется createdAt перевода. Поэтому одобрение, полученное сегодня, может отображаться под более ранней датой создания. Время получения позволяет различать повторные отклонения одного предложения и заменяет отсутствующие или некорректные метки времени. Одобрение записывается один раз для каждого предложения. Проверяйте записанное значение eventAt, когда фильтруете События или выбираете период измерения в прошлом. При последующем извлечении текста не всегда удаётся надёжно повторно сопоставить события без меток времени. Если автор не указан, это тоже не повод приписывать событие человеку или модели без подтверждений.
Учитывайте охват данных при чтении результатов #
Вебхуки собирают данные о выбранных действиях с момента доставки событий. Они не восстанавливают все предыдущие переводы, версии исходного текста или историю проекта. Если в теле запроса нет текста, события не поддерживаются или проекты не настроены, данных для измерений будет меньше. Повторная доставка событий проверки может создавать отдельные записи, поэтому число событий не обязательно равно числу уникальных проверенных переводов.
Различайте записи, к которым критерий не применим, и записи, к которым он применим, но в которых не хватает нужного текста. Среди оценок различайте завершённые оценки с определённым ответом, завершённые оценки с неопределённым ответом и оценки без итогового ответа. Неопределённый ответ означает, что оценка завершена, но не подтверждает ни прохождение, ни непрохождение проверки.
В отчёте о доле успешных проверок используйте в знаменателе ответы с определённым результатом. Также укажите, какая доля контента, подходящего для оценки, получила такой ответ. Отсутствие оценки не доказывает низкое качество перевода. Одобрение в Crowdin отражает процесс проверки в проекте, но само по себе не доказывает смысловую точность. Подробнее о расчёте и интерпретации — в статье «Как спроектировать измерение качества перевода».
Восстановите доставку или отключите источник #
Если данные перестали появляться, проверьте подписки вебхука проекта, тип события, ошибки доставки и URL назначения. Убедитесь, что вебхук отправляет POST-запросы с JSON на текущий URL вебхука подключения. Подключение не восстанавливает пропущенные события автоматически. Чтобы оценить события, уже собранные в Lingo.dev, используйте рабочий процесс измерения по историческим данным.
Если URL вебхука стал доступен посторонним или его нужно заменить, откройте подключение в подразделе Интеграции раздела Настройки, выберите Заменить и подтвердите замену кнопкой Заменить URL. Старый URL сразу перестанет работать. Скопируйте новый URL во все настроенные проекты Crowdin, затем проверьте доставку поддерживаемого события и появление его данных в Radar.
После отключения новые данные от подключения больше не поступают, но записанные измерения сохраняются. Вебхуки проектов Crowdin нужно удалить отдельно. Переводы и действия проверки в Crowdin не изменятся. Если отчёт охватывает период отключения, учитывайте перерыв в сборе данных — он не означает, что работа над переводами остановилась.