Пользовательские измерения
Создайте проверку под требования к контенту, выберите тип ответа и события для оценки, а затем проверьте, выявляет ли она нужное изменение.
Пользовательское измерение помогает сформулировать одно из требований к контенту так чётко, чтобы его можно было проверить. Например, сохраняет ли перевод оговорку, соблюдает ли заданное требование к стилю или разграничивает ли два понятия продукта. Промпт объясняет судье, какие различия важны, а какие допустимы.
На этой странице мы создадим измерение в подразделе Измерения раздела Radar. Чтобы проверять переводы, которые создают ваши движки локализации, выберите localization.completed в качестве триггера. В статье Проверка переводов Lingo.dev описано, как выбрать движки и где появляются ответы.
Сформулируйте требование как сравнение #
Допустим, в исходном тексте сказано, что функция может стать доступна после одобрения. В переводе могут остаться слова о функции и одобрении, но сама возможность при этом превратится в обещание. Полезное измерение должно проверять связь между ними, а не просто искать совпадения терминов.
Для такого требования промпт с логическим ответом может выглядеть так:
Пример промпта: сохранение степени уверенности и условий
Сравни утверждения в исходном тексте и переводе. Верни true, если перевод сохраняет степень уверенности или обязательности исходного утверждения, его условия и связь между ними. Допускай естественные изменения формулировок и структуры предложений.
Верни false, если возможность превращается в обещание, меняется обязательство, условие удаляется или относится не к тому утверждению. Укажи в пояснении соответствующие формулировки исходного текста и перевода. Предложи исправление, если для этого достаточно данных.
Верни null, если в тексте нет утверждения, к которому применима эта проверка, или имеющихся данных недостаточно для сравнения. Объясни, какая из этих ситуаций возникла и каких данных не хватает, если они нужны.
Промпт задаёт конкретный вопрос и даёт основания для проверки самого ответа. Он не просит судью с нуля придумать все стандарты качества команды.
Создайте измерение #
- В подразделе Измерения раздела Radar начните создавать новое измерение и введите промпт.
- Дайте ему узнаваемое название, например Сохранение степени уверенности и условий.
- В поле Значение выберите Пройдено или не пройдено для логического ответа или От 0 до 100 для числовой шкалы. Смысл её промежуточных значений вы можете определить сами.
- Оставьте параметр Разрешить «Неприменимо» включённым, если судья должен иметь возможность ответить «Неприменимо», как в примере промпта. Если параметр выключен, судья должен вернуть результат «Пройдено», «Не пройдено» или числовую оценку.
- Выберите Триггер и Языки. Изначально в форме выбрано завершение локализации. Измените этот вариант, если нужные данные поступают с другим типом события. Если языки не выбраны, учитываются все целевые локали.
- Выберите Создать измерение. Определение сохранится, а условие для выбранного события будет включено. На вкладке Общие уточните условие по исходному языку, движку или выборке. Чтобы добавить другие типы событий, выберите Выбрать событие.
Судья использует модель оценки, которой управляет платформа. Промпт измерения не выбирает модель генерации, не меняет инструкции движка локализации и не добавляет способ загрузки контента. Настройте поддерживаемый приём данных, чтобы передавать материал для оценки.
Разберитесь в формате ответа #
| Тип ответа | Возвращаемая оценка |
|---|---|
bool | pass: true, false или null. |
score | score: конечное число от 0 до 100 или null. |
Оба типа включают reasoning и suggestion, которые могут принимать значение null. Оценка null доступна только при включённом параметре Разрешить «Неприменимо». Значение null означает, что судья не смог дать запрошенную оценку. В пояснении может быть указана причина: неприменимость, неопределённость или нехватка данных. Событие, не прошедшее отбор по условию, получает отметку «Неприменимо» без обращения к судье независимо от этого параметра. Процент — это значение на заданной вами шкале. Сам по себе он не означает вероятность того, что перевод верен.
В истории результатов логическое значение или балл отображаются с помощью value, valueKind и notApplicable. Прежде чем трактовать числовой ноль, проверьте индикатор «Неприменимо». В статье Результаты описаны этот формат и доступные данные о ходе работы судьи.
Проверьте, различает ли промпт нужные случаи #
После сохранения условия создайте небольшой набор поддерживаемых тестовых событий или запустите оценку существующих событий за ограниченный период. Включите как известные ошибки, так и допустимые переводы: изменённое обязательство, удалённое условие, подпись, не связанную с требованием, случай без исходного текста и естественную перефразировку с сохранением смысла.
Сопоставьте ответ с самим текстом. Если проверка отмечает допустимую перефразировку как ошибку, выясните, какая инструкция вызвала ложное срабатывание. Если она пропускает удалённое условие, сформулируйте требование чётче и проверьте его на примерах, которые не использовались для доработки промпта. В руководстве по проектированию измерений подробнее описаны калибровка и отчётность после первоначальной настройки.
Обновляйте определение и область применения #
Пользовательские измерения принадлежат организации. Их промпт, название, тип значения и параметр Разрешить «Неприменимо» можно изменить на вкладке Общие. Условия задают отдельные типы событий и сужают выбор по языкам, исходным языкам, движкам и выборке. Выбор языка учитывает иерархию локалей: при выборе fr также выбирается fr-CA, а при выборе fr-CA не выбирается fr-FR. См. выбор событий.
Прежде чем менять критерий ошибки, сохраните прежнее определение и полезные результаты. Оценка прошлых событий использует текущее определение и при повторной оценке периода заменяет ответы за этот интервал. Поэтому она не позволяет сохранить оба набора результатов для сравнения критериев. Если удалить определение, ранее записанные значения останутся без него. Если нужно лишь прекратить будущие проверки, достаточно выключить измерение.