Cache de prompts

Entenda quando um provedor pode reutilizar entradas repetidas do modelo e como interpretar os campos de tokens e custos resultantes.

Solicitações recorrentes de tradução costumam compartilhar instruções, mesmo quando o texto de origem muda. O cache de prompts permite que o provedor do modelo reutilize um prefixo de entrada repetido, em vez de processar a entrada desde o início a cada solicitação. Ainda assim, cada solicitação gera uma nova tradução.

O Lingo.dev posiciona as instruções estáveis antes do material específico de cada solicitação e fornece indicações de cache e roteamento adequados ao provedor. Cabe ao provedor decidir se a solicitação aproveita o cache.

O que pode permanecer igual entre solicitações #

As instruções do sistema, as regras de correspondência e a voz selecionada contribuem para um prefixo idêntico byte a byte enquanto a configuração não muda. O material recuperado do glossário e o conteúdo da solicitação vêm depois dessa parte estável. Alterar o texto das regras ou da voz modifica o prefixo e pode impedir a reutilização da entrada armazenada anteriormente em cache.

As rotas compatíveis da Anthropic e do Google usam pontos de delimitação explícitos para o cache efêmero. Outros provedores podem armazenar entradas em cache automaticamente ou funcionar de outra forma. O tamanho mínimo da entrada, o prazo de validade e os preços variam conforme o provedor; o suporte em um deles não implica o mesmo comportamento em outro.

O tráfego recorrente com o mesmo prefixo pode se beneficiar do cache. Tráfego esporádico, mudanças de contexto, uma rota diferente de provedor ou a política do provedor podem exigir um novo processamento. Uma configuração estável, por si só, não garante aproveitamento do cache, desconto ou redução da latência.

Interprete o consumo sem contar a mesma entrada duas vezes #

Os relatórios de tokens da conta podem incluir o total de tokens de entrada, os tokens de saída e os tokens de leitura e gravação em cache. Os contadores de cache representam partes do processamento da entrada; não os some ao total de entrada como se cada contador representasse tokens distintos.

Por exemplo, 1.000 tokens de entrada no total, com 800 tokens de leitura do cache, não significam 1.800 tokens de entrada. As definições do provedor determinam quais quantidades de tokens novos e em cache podem ser calculadas a partir do relatório. A ausência de dados de consumo não significa que nenhum processamento ocorreu.

Para uma tradução individual, abra as respectivas solicitações ao modelo. Essa visualização mostra os tokens de entrada e saída registrados e o custo do provedor para a tentativa completa, que pode abranger vários destinos do documento. A resposta da tarefa informa o progresso e as URLs de download; use os relatórios da conta para investigar a atividade de cache e os gastos nas diferentes solicitações.

Diferencie a economia das demais atividades #

O aproveitamento do cache pode reduzir o processamento da entrada pelo provedor, mas a geração da saída e a cobrança pela localização continuam ocorrendo. Medições independentes, revisão profissional e o plano da plataforma têm seus próprios custos. Use Consumo para consultar os gastos da conta e comprovação de custos para trabalhos individuais.

O cache de prompts também é diferente da reutilização de traduções, que mantém o texto de destino alinhado ao texto de origem que não mudou. A recuperação de contexto seleciona instruções para uma nova geração. Manter esses mecanismos separados permite explicar tanto uma solicitação de menor custo quanto uma execução que nem precisou traduzir o conteúdo inalterado.