Оценка прошлых событий

Примените текущее измерение к сохранённым событиям, выберите, сохранить или заменить прежние ответы, и учтите недоступные данные и асинхронное завершение.

Оценка прошлых событий запускает измерение для событий, уже собранных в вашей организации. Так вы можете применить новый критерий к прежним переводам, оценить события из импортированной истории провайдера или проверить выбранный период по обновлённому определению измерения. Для этого откройте вкладку Пересчёт на странице измерения.

Для более раннего контента провайдера сначала импортируйте историю GitHub или Zendesk и убедитесь, что нужные события видны в подразделе Журналы раздела Радар. Индикатор импорта учитывает элементы провайдера, поставленные в очередь на сбор. Их сопоставление и сохранение могут завершиться позже. Оценка прошлых событий использует сохранённые данные событий. Для импортированной истории нужен пересчёт измерения, так как при поступлении эти события собираются без оценки.

Проверьте, что уже оценено #

Раздел Оценено показывает, сколько событий тех типов, с которыми работает измерение, получили ответ, включая N/A, за всё время сбора. Пример: «Оценено 1 204 из 8 154 событий». Здесь учитываются события с сохранёнными данными и все типы событий измерения, независимо от того, включено оно или выключено. При изменении дат на вкладке Пересчёт это число не меняется. Под общим числом для каждого источника — репозитория GitHub, Справочного центра Zendesk, проекта Crowdin или Lingo.dev — указано, сколько событий оценено, например «acme/web: 1 180 из 7 600». Для событий, в записи которых источник не указан, используется метка Неизвестный источник. GET /v2/organizations/:orgId/measurements/:measurementId/period-counts с временными метками ISO from (включительно) и to (не включительно) возвращает те же events, measured и origins для любого интервала.

Выберите определение и период #

Перед запуском включите измерение: пока оно выключено, кнопка Начать пересчёт недоступна. Включённые в измерении типы событий определяют, какие прошлые события будут проверены. Каждое событие проверяется по текущим языкам, движкам и выборке, заданным в его условии. Если событие им не соответствует, оно получает ответ N/A, как и при оценке в реальном времени.

Под полями С и По показано число событий за период по источникам: для каждого репозитория GitHub, Справочного центра Zendesk, проекта Crowdin и Lingo.dev. Если в записи события источник не указан, используется метка Неизвестный источник. Здесь учитываются события, которые обрабатывает пересчёт: события включённых в измерении типов с сохранёнными данными, до фильтрации по условиям. Событие, которое не соответствует языкам, движкам или источникам в условии, входит в это число и получает ответ N/A. Пока измерение выключено, число событий не показывается.

Выберите небольшой период, события за который вы сможете проверить. Убедитесь, что в их данных есть исходный текст, перевод, черновик или контекст, необходимые для критерия. Для проверки соблюдения глоссария и правил также сохраните актуальные указания движка локализации, относящиеся к этим проверкам. Проверки используют прикреплённые термины и правила на момент оценки, а не воссоздают контекст на момент генерации.

Интервал отбирает события по записанным значениям eventAt. Для одобрения в Crowdin используется время создания варианта перевода, которое может предшествовать дню одобрения. При выборе периода проверьте временную метку события: если выбрать только день поступления одобрения, это событие может не попасть в выборку.

Сохраните или замените прежние ответы #

Параметр Только ещё не оценённые события включён по умолчанию. Он сохраняет имеющиеся ответы за период и запускает оценку только для событий без ответа. Ответ N/A тоже считается результатом оценки и сохраняется.

Выключите этот параметр, чтобы заново оценить весь период по текущему определению измерения. При запуске появится вопрос Оценить период заново?: прежние ответы измерения за этот период сначала удаляются, а затем записываются заново по мере оценки событий.

Сохраните прежние ответы перед заменой

Если параметр Только ещё не оценённые события выключен, удаляются ответы измерения за весь выбранный интервал, в том числе для типов событий и локалей, которые больше не выбраны. Сначала сохраните прежнее определение измерения и результаты, нужные для сравнения. Если данные события будут пропущены или заменить ответ не удастся, событие может остаться без прежнего и без нового ответа.

Запустите оценку за выбранный период #

  1. Откройте вкладку Пересчёт на странице измерения.
  2. Задайте даты С и По. Оба выбранных дня учитываются целиком по UTC. Даты позже сегодняшней недоступны. Если указать один и тот же день, оценка охватит только его.
  3. Решите, оставить ли параметр Только ещё не оценённые события включённым.
  4. Выберите Начать пересчёт и подтвердите замену ответов, если она нужна.
  5. Следите за строкой прогресса: Идёт пересчёт, затем Пересчёт завершён или Не удалось выполнить пересчёт. В ней указано число оценённых событий. Пересчёт также отображается на панели фоновых задач в углу каждой страницы. Выберите строку или задачу на панели, чтобы посмотреть прогресс.

Для запуска используется POST /v2/organizations/:orgId/measurements/:measurementId/backfill с временными метками ISO: from включительно и to не включительно. Обязательны from < to и unmeasuredOnly. При запуске через API значение unmeasuredOnly по умолчанию — false, то есть ответы заменяются. Чтобы сохранить их, передайте true. Для одного дня по UTC интервал длится с полуночи этого дня до полуночи следующего. Интерфейс преобразует конечную дату, включённую в период, в эту границу следующего дня. Ответ имеет статус HTTP 202 и содержит id асинхронного запуска. Пока пересчёт выполняется, второй пересчёт для того же измерения отклоняется. GET /v2/organizations/:orgId/backfills возвращает список недавних запусков, а status=running&startedBy=me оставляет в нём только выполняющиеся запуски, начатые вами.

Сверьте новые ответы #

События обрабатываются постранично. Измерения ставятся в очередь только для событий, сохранённые данные которых доступны. Завершённый пересчёт означает, что его события оценены, но каждый ответ по-прежнему содержит собственный итог. Запуски пересчёта учитываются так же, как запуски в реальном времени, за исключением ответов, пропущенных по условию. Ответы пересчёта не создают предложений для движка локализации.

Проверьте выбранные события и результаты. История результатов не показывает идентификатор запуска пересчёта, поэтому сопоставляйте идентификаторы события и измерения, интервал событий и время вычисления. При сверке учитывайте и ожидаемые события без ответов. Не судите о завершении только по строкам, которые удалось получить.

Проверьте причину каждого нового ответа N/A. Причиной может быть отбор по условию, отсутствие нужных данных или применимых указаний либо неспособность модели-оценщика дать однозначный ответ. При сбое выполнения нужны другие меры, чем в случае, когда перевод подходит для оценки, но у него нет исходного текста.

Сохраните данные для сравнения отдельно от истории замен #

Если вы хотите узнать, надёжнее ли обновлённый критерий выявляет ошибки, сохраните старое и новое определения вместе с отдельно проверенными примерами и их результатами. Если нужно понять, стали ли переводы лучше, сохраните обе версии перевода в сопоставимых условиях.

Для пересчёта нет предусмотренного способа отмены или отката ответов. Не запускайте повторные оценки с пересекающимися периодами, чтобы выяснить, почему нет результата. Сначала определите, какие события выбраны, каких данных не хватает и какие ответы получены. В статье Как сравнивать модели перевода описано, как сохранять воспроизводимые испытания, не полагаясь на изменяемую историю.