Как сравнить модели перевода
Проводите сопоставимые тесты перевода, сохраняйте их условия и сравнивайте качество, стоимость и случаи без результата для конкретной задачи.
Различия между двумя моделями могут быть важны для одного типа контента и незаметны для другого. Чтобы сравнение было полезным, уточните, какое решение нужно принять: какая конфигурация сохраняет смысл заявлений о продукте на языках, которые он поддерживает, при приемлемой стоимости и частоте сбоев?
Решите, что нужно выяснить, прежде чем выбирать примеры #
Укажите тип контента, целевые языки и требование. Вопрос «Какая конфигурация сохраняет наши обещания на этапе checkout при переводе на французский?» может дать результат, который поможет принять решение. Рейтинг моделей без привязки к контенту и языкам не объясняет, где применим результат.
Выберите обычные и сложные примеры, которые отражают эту задачу. В зависимости от контента включите короткие строки интерфейса, неоднозначные термины, связный текст, плейсхолдеры и заявления, от точности которых многое зависит. Соберите достаточно примеров на каждом нужном языке, чтобы оценить результаты по нему отдельно от общего среднего.
Сохраняйте версии исходных текстов, целевые локали, контекст и эталонные переводы, если они есть. Эталон полезен, только когда известны его статус и заложенный в него смысл. Существующий перевод не становится верным по умолчанию. Прежде чем считать одну из допустимых трактовок ошибкой модели, устраните или отметьте неоднозначность исходного текста.
Отложите отдельный набор примеров для финального тестирования и не используйте его для настройки промптов или рекомендаций. Записывайте исключения и критерии, по которым они сделаны. Если убрать неудобный пример после неблагоприятного результата, эксперимент изменится. Если для случая, который соответствует критериям отбора, нет исходных данных, это остаётся пробелом в доказательной базе.
Сохраняйте условия сравнения #
Сохраняйте сам текст конфигурации или версию, которую можно получить позже, а не только название движка локализации, настройки которого могут измениться. Для каждого кандидата сохраняйте идентификаторы модели и провайдера, порядок обращения к резервным моделям, глоссарий, правила, голос бренда, контекст, параметры формата, пайплайн, политику проверки и определения критериев.
Если гипотеза касается модели, оставьте остальные условия неизменными. Если она касается рекомендаций, не меняйте модель, а измените нужный глоссарий или инструкцию. Сравнение модели без настроек с полностью настроенным движком локализации может ответить на практический вопрос, но разница будет связана не только с поведением модели, но и с контекстом.
По возможности проводите сравнение в изолированной среде: общие рекомендации могут повлиять на другие вызовы. Изучите исходную конфигурацию, предложите точное изменение, получите нужное разрешение и перед тестом проверьте, что именно сохранилось. Раздел Делегирование агенту помогает определить эти границы при работе с агентом.
Проводите сопоставимые тесты и сохраняйте неудачные попытки #
Отправьте одну и ту же версию исходного текста и целевую локаль в каждую явно указанную конфигурацию. Сохраните результат без изменений вместе с идентификатором теста. Запишите, какая модель использовалась на самом деле и были ли обращения к резервным моделям. Успешный результат резервной модели не подтверждает качество перевода запрошенной модели.
Фиксируйте повторные попытки и случаи без результата. Если незаметно подменять неудачные попытки последующими успешными, менее надёжная конфигурация будет выглядеть так, будто выполнила всю работу. Повторите часть сопоставимых тестов, чтобы оценить разброс результатов: закреплённый идентификатор не гарантирует одинаковый результат при каждом запуске.
Агент может перевести одни и те же выбранные строки с помощью двух разрешённых конфигураций и собрать результаты. Укажите, может ли он только читать текущие настройки, отправлять тексты на перевод или ещё и менять общую конфигурацию. Два результата в одном диалоге сами по себе не создают ни постоянной истории эксперимента, ни статистически корректного A/B-теста.
Оценивайте смысл по одинаковым критериям #
По возможности определите критерии до того, как станет известно, какая модель создала каждый результат. В обещании доставки должны сохраниться срок, оговорка о рабочих днях и само обязательство. Даже естественно звучащий перевод меняет обещание, если сохраняет число, но ослабляет доставим до можем доставить.
Откалибруйте модель-оценщик на примерах с отдельно установленной оценкой: включите допустимые перефразировки, известные ошибки и случаи, для которых не хватает данных. Отдельно фиксируйте, какая модель выступала судьёй, а какая создавала перевод. Если модель предпочитает собственный результат, это не независимое подтверждение качества.
Попросите квалифицированных специалистов проверить расхождения, от которых многое зависит, по возможности не раскрывая названия моделей. Сначала сравните сами фрагменты и требования, а уже потом средние показатели. Раздел Как подтвердить выводы о качестве помогает разобраться с предполагаемыми ошибками, а раздел Проектирование измерений определяет условия включения в оценку, ложные срабатывания, пропущенные ошибки и границы допустимых ответов.
Показывайте качество, охват и стоимость вместе #
Для каждого выбранного сочетания версии исходного текста, локали, кандидата и теста сохраняйте отдельную строку с фактическим результатом, оценкой и известной стоимостью выполнения. Указывайте случаи, к которым применимы критерии, завершённые оценки, однозначные ответы и работу без завершённого ответа. Если применимость неизвестна, явно отмечайте это, а не исключайте такие случаи без пояснений.
Рассчитывайте долю успешных результатов среди однозначных ответов, которые соответствуют критериям включения. Указывайте, какую долю явно обозначенной совокупности подходящих случаев охватывают однозначные ответы. Оценка, завершённая без однозначного ответа, считается завершённой, но не даёт обоснованного вывода о качестве. По одной лишь истории успешных результатов нельзя восстановить все выбранные элементы, которые так и не дошли до оценки.
Прежде чем объединять результаты, разбейте их по языкам и группам контента. Высокое среднее значение может скрывать серьёзную ошибку в небольшой, но важной группе. Укажите, как отбирались примеры: набор, выбранный из-за известных ошибок, не позволяет определить общую частоту ошибок в обычном потоке запросов.
Используйте одинаковые границы учёта для стоимости и задержки. Включайте зафиксированные повторные попытки, обращения к резервным моделям и дополнительные этапы. Если стоимость не записана, она неизвестна. Если результата нет, работа не завершена. Длительность запроса отличается от полного времени рабочего процесса с ожиданием и доставкой результата. Расстояние редактирования не позволяет определить, сколько времени сэкономил человек. В разделе Затраты описаны эти границы учёта.
Сохраняйте решение так, чтобы его можно было пересмотреть #
Отчёт должен связывать вывод с границами его применимости и подтверждающими данными: какой кандидат выполнил какие требования, для какого контента и языков, с каким охватом и затратами на выполнение. Если результаты не позволяют выявить различия между кандидатами, оставьте текущую конфигурацию или соберите недостающие данные, а не назначайте победителя без оснований.
Сохраняйте входные данные, результаты, версии конфигурации, критерии, идентификаторы тестов, проверенные выводы и исключения. Оценка исторических данных в Radar заменяет ответы в пределах своего интервала, поэтому не позволяет сохранить обе версии сравнения.
Перед согласованным изменением в рабочей среде сохраните исходную конфигурацию и план отката. Повторно проверьте отложенные примеры и убедитесь, что приложение получает нужный результат. Пересмотрите вывод, если изменятся контент, языки или требования: результат описывает проверенные условия, а не даёт универсальную рекомендацию по выбору модели.