Затраты
Как разобраться в зафиксированных затратах на перевод и измерения, не считая одну работу дважды и не принимая отсутствие данных за бесплатное использование.
Анализ затрат начинается с вопроса: какую работу мы оцениваем? Генерация перевода, его проверка и оценка по критерию — отдельные операции. При этом записи о них могут пересекаться: один запрос к модели может охватывать несколько документов и отображаться в данных нескольких этапов.
Чтобы разобраться в отдельных операциях, используйте данные запросов, этапов и измерений. Чтобы сверить данные учётной записи за расчётный период и настройки оплаты, откройте Использование и Оплата.
Определите единицу учёта #
| Запись | Что смотреть вместе с суммой |
|---|---|
| Запрос на перевод | Фактически использованная модель, статус, токены, переход на резервную модель и то, относится ли запись к попытке или к использованному результату. |
| Этап пайплайна | Связанные попытки обращения к модели и внешний заказ на проверку, если он есть, с указанием поставщика и зафиксированной платы. |
| Результат измерения | Какая модель-судья или алгоритм использованы, расход ресурсов на ответ и зафиксированная стоимость. |
| Использование | Расчётный период, организация, категория использования и начисления или зачёты. |
Учитывайте каждую операцию только один раз. Несколько ответов модели-оценщика, связанных с одним запросом, не умножают стоимость его генерации. Прежде чем прибавлять стоимость запросов к общей сумме задания, выясните, какие запросы уже в неё включены.
Рассматривайте попытку обращения к модели целиком #
В данных запроса фиксируются inputTokens, outputTokens и providerCostUsd, если поставщик их передал. Эти показатели относятся ко всему запросу к модели. Один пакет может охватывать несколько документов или целевых локалей, поэтому при сравнении этапов или локалей исключайте повторяющиеся ИД запросов.
Сумма, указанная поставщиком, — не счёт за задание. При анализе затрат на генерацию учитывайте неудачные попытки и успешные обращения к резервным моделям. Использование платформы и внешнюю проверку сверяйте отдельно. Кэширование промптов может влиять на объём работы поставщика, но повторяющиеся входные данные не гарантируют попадания в кэш, скидки или сокращения задержки.
Отличайте отсутствие данных о стоимости от нулевой стоимости #
Не все записи содержат полные учётные данные. В событиях Crowdin нет данных о расходе ресурсов на генерацию. Их может не быть и в событиях, сформированных на основе заданий. По полям таких событий нельзя определить общие затраты на генерацию. Прочерк в данных запроса к модели означает, что соответствующее количество токенов или стоимость у поставщика не зафиксированы, а не равны нулю.
Стоимость измерения с помощью LLM может сохраняться как нулевая, если поставщик её не передал. Текущий ответ с результатом не позволяет отличить этот случай от подтверждённых нулевых затрат. Чтобы определить полноту данных о стоимости, используйте независимые учётные данные, а не считайте каждый ноль признаком бесплатной операции или отсутствующей суммы.
Доля правок и расстояние редактирования вычисляются без LLM, поэтому затраты на модель для них равны нулю. При этом расход ресурсов при успешных запусках измерений всё равно учитывается. Пропуски по условию, повторные попытки и сбои обрабатываются иначе. Суммирование видимой стоимости ответов не позволяет восстановить ни счёт, ни все попытки оценки.
Учитывайте плату за внешнюю проверку вместе с записью о проверке #
Откройте этап ручной проверки, чтобы посмотреть внешний заказ, поставщика и зафиксированную плату. Различайте заказы, оплачиваемые через Lingo.dev, и заказы через подключение вашей организации к поставщику. Плата может сохраняться, даже если команда взяла работу на себя или не приняла запоздавший результат поставщика. Сам факт оплаты проверки не говорит о том, какой текст был принят как итоговый. Это решение описано в разделе Проверки в Inbox.
Сравнивайте затраты с полученным результатом #
Сравнивайте модели на сопоставимом контенте, с сопоставимыми парами локалей, требованиями и временными условиями. Учитывайте повторные попытки, переход на резервную модель и дополнительные этапы. Один успешный пример с низкой стоимостью не доказывает, что стоимость каждого принятого перевода будет низкой во всём рабочем процессе.
Чтобы оценить отдачу от измерений, можно разделить зафиксированную стоимость работы судьи для выбранной группы завершённых ответов на количество ответов с определённым результатом в этой группе. В числитель включайте и стоимость завершённых оценок с ответом null: на них потрачены ресурсы, но определённого суждения они не дали. Обозначайте эту сумму как зафиксированную стоимость ответов: неудачные и некорректные попытки, а также повторные попытки могут быть не учтены.
Рядом с расчётом показывайте долю завершённых оценок и долю ответов с определённым результатом. Укажите, какие данные вошли в числитель и какие пробелы в данных о стоимости выявлены независимо. В разделе Как контролировать затраты на локализацию, не скрывая сбои подробнее разбирается сравнение затрат, пригодных к использованию результатов и незавершённой работы.