提示词缓存
了解提供商何时能复用重复的模型输入,以及如何解读由此产生的词元和成本字段。
即使源文本发生变化,多次翻译请求往往仍使用相同的指令。提示词缓存让模型提供商可以复用重复的输入前缀,无需每次都从头处理这部分输入。每次请求仍会生成新的译文。
Lingo.dev 将稳定的指令放在每次请求的特定内容之前,并提供适配相应提供商的缓存提示和路由。请求是否命中缓存,由提供商决定。
请求之间哪些内容可以保持不变 #
配置不变时,系统指令、匹配规则和所选品牌语调共同形成字节级一致的前缀。检索到的术语表内容和请求内容则位于这段稳定内容之后。修改规则或品牌语调文本会改变前缀,可能使先前缓存的输入无法复用。
受支持的 Anthropic 和 Google 调用路径使用显式的临时缓存断点。其他提供商可能自动缓存,也可能采用不同的处理方式。最小输入量、缓存有效期和定价因提供商而异;支持某个提供商,并不意味着其他提供商也有相同的行为。
使用相同前缀的重复请求可以受益于缓存。请求频率低、上下文发生变化、提供商路由不同或提供商的策略,都可能导致输入需要重新处理。配置稳定并不保证命中缓存、获得折扣或降低延迟。
解读用量,避免重复计算同一份输入 #
账户词元报告可能包含总输入词元、输出词元、缓存读取词元和缓存写入词元。缓存计数反映的是输入处理的组成部分;不要将它们再加到总输入中,误以为每项计数都代表额外的词元。
例如,总输入为 1,000 个词元,其中缓存读取为 800 个词元,并不意味着输入共有 1,800 个词元。报告中哪些新处理用量和缓存用量可以推算,取决于提供商的定义。缺少用量数据,并不代表没有进行处理。
要查看某次翻译的详情,请打开其模型请求。该视图显示整次尝试记录的输入和输出词元,以及提供商成本;一次尝试可能涵盖多个文档目标。任务响应会提供进度和下载 URL;如需了解多个请求的缓存活动和支出,请查看账户报告。
区分缓存带来的节省与其他工作 #
命中缓存可以减少提供商对输入的处理,但输出仍需生成,本地化费用也仍会产生。独立测量、专业审核和平台套餐各有各的费用。通过用量查看账户支出,通过成本依据查看单项工作的成本。
提示词缓存也不同于翻译复用:后者会保留与未变更源文本对应的目标文本。上下文检索则为新的生成过程选择指令。将这些机制区分开来,才能解释为什么某个请求成本更低,以及为什么某次运行根本无需翻译未变更的内容。