Кэширование промптов

Узнайте, когда провайдер может повторно использовать одинаковые входные данные модели и как понимать связанные с этим показатели токенов и стоимости.

В повторных запросах на перевод часто используются одни и те же инструкции, даже если исходный текст меняется. Кэширование промптов позволяет провайдеру модели повторно использовать одинаковую начальную часть входных данных — префикс, — а не обрабатывать её каждый раз с нуля. При этом каждый запрос создаёт новый перевод.

Lingo.dev размещает постоянные инструкции перед данными конкретного запроса, передаёт подсказки для кэширования и выбирает маршрут с учётом провайдера. Будет ли запрос обработан с использованием кэша, решает провайдер.

Что может оставаться неизменным между запросами #

Системные инструкции, подходящие правила и выбранный стиль формируют префикс, который остаётся неизменным до байта, пока не меняется конфигурация. За ним следуют подобранные материалы глоссария и содержимое запроса. Если отредактировать текст правил или стиля, префикс изменится. Это может помешать повторному использованию ранее кэшированных входных данных.

Поддерживаемые маршруты Anthropic и Google используют явно заданные границы кратковременного кэширования. Другие провайдеры могут кэшировать данные автоматически или работать иначе. Минимальный объём входных данных, срок хранения и цены зависят от провайдера. Поддержка кэширования у одного провайдера не означает, что у другого оно работает так же.

Кэширование может помочь при повторных запросах с одинаковым префиксом. Если запросы редкие, контекст изменился, выбран другой маршрут к провайдеру или этого требует его политика, данные может потребоваться обработать заново. Сама по себе неизменная конфигурация не гарантирует использования кэша, скидки или сокращения задержки.

Как читать данные об использовании без двойного подсчёта входных токенов #

Отчёты по токенам учётной записи могут включать общее число входных токенов, число выходных токенов, а также токенов, прочитанных из кэша и записанных в него. Счётчики кэша отражают составляющие обработки входных данных. Не прибавляйте их к общему числу входных токенов, как будто они учитывают отдельные токены.

Например, 1 000 входных токенов при 800 токенах, прочитанных из кэша, — это не 1 800 входных токенов. Какие объёмы новых и кэшированных данных можно рассчитать по отчёту, зависит от того, как провайдер определяет показатели. Отсутствие данных об использовании не означает, что работа не выполнялась.

Чтобы посмотреть данные отдельного перевода, откройте его запросы к модели. Там указаны учтённые входные и выходные токены, а также стоимость у провайдера за всю попытку. Она может охватывать несколько целевых версий документа. Ответ на задание содержит данные о ходе выполнения и URL для скачивания. Чтобы изучить использование кэша и расходы по разным запросам, воспользуйтесь отчётами учётной записи.

Рассматривайте экономию отдельно от других затрат #

Использование кэша может сократить обработку входных данных у провайдера, но выходные данные всё равно генерируются, а плата за локализацию сохраняется. У независимых измерений, профессиональной проверки и тарифа платформы — своя стоимость. Расходы учётной записи смотрите на странице Использование, а затраты на отдельную работу — в данных, подтверждающих стоимость.

Кэширование промптов также отличается от повторного использования перевода, при котором сохраняется перевод, сопоставленный с неизменившимся исходным текстом. Подбор контекста выбирает инструкции для новой генерации. Различая эти механизмы, проще объяснить и снижение стоимости запроса, и запуск, при котором неизменившийся контент вообще не пришлось переводить.