Cache de prompts

Saiba quando um fornecedor pode reutilizar dados de entrada repetidos do modelo e como interpretar os campos de tokens e custos resultantes.

Os pedidos de tradução recorrentes partilham frequentemente as mesmas instruções, mesmo quando o texto de origem muda. A cache de prompts permite ao fornecedor do modelo reutilizar um prefixo de entrada repetido, em vez de processar essa entrada desde o início a cada pedido. Ainda assim, cada pedido gera uma nova tradução.

O Lingo.dev coloca as instruções estáveis antes do conteúdo específico de cada pedido e fornece indicações de cache e encaminhamento adequados ao fornecedor. É o fornecedor que determina se há uma correspondência na cache para um pedido.

O que pode manter-se igual entre pedidos #

As instruções do sistema, as regras de correspondência e a voz selecionada contribuem para um prefixo que se mantém idêntico, byte a byte, enquanto a configuração não mudar. O conteúdo obtido do glossário e o conteúdo do pedido surgem depois dessa parte estável. Alterar o texto das regras ou da voz modifica o prefixo e pode impedir a reutilização da entrada anteriormente armazenada em cache.

As vias de acesso suportadas para a Anthropic e a Google utilizam pontos de delimitação explícitos para cache efémera. Outros fornecedores podem armazenar dados em cache automaticamente ou funcionar de outra forma. O tamanho mínimo da entrada, o prazo de validade e os preços variam consoante o fornecedor; o suporte num fornecedor não implica o mesmo comportamento noutro.

O tráfego repetido com o mesmo prefixo pode beneficiar da cache. O tráfego esporádico, alterações de contexto, uma rota diferente para o fornecedor ou a política do fornecedor podem exigir um novo processamento. Por si só, uma configuração estável não garante uma correspondência na cache, um desconto ou uma redução da latência.

Interprete o consumo sem contar a mesma entrada duas vezes #

Os relatórios de tokens da conta podem incluir o total de tokens de entrada, os tokens de saída e os tokens de leitura e escrita na cache. Os contadores de cache representam componentes do processamento da entrada; não os some ao total de tokens de entrada como se cada contador representasse tokens distintos.

Por exemplo, um total de 1 000 tokens de entrada com 800 tokens de leitura da cache não equivale a 1 800 tokens de entrada. As definições do fornecedor determinam que quantidades de tokens novos e em cache podem ser deduzidas do relatório. A ausência de dados de consumo não significa que não tenha havido processamento.

Para consultar uma tradução individual, abra os respetivos pedidos ao modelo. Esta vista apresenta os tokens de entrada e de saída registados e o custo do fornecedor para a tentativa completa, que pode abranger vários destinos de documentos. A resposta da tarefa fornece o progresso e os URLs de transferência; utilize os relatórios da conta para analisar a atividade da cache e os gastos nos vários pedidos.

Distinga as poupanças do restante trabalho #

Uma correspondência na cache pode reduzir o processamento da entrada pelo fornecedor, mas continua a haver geração de saída e cobrança pela localização. As medições independentes, a revisão profissional e o plano da plataforma têm custos próprios. Consulte Consumo para ver os gastos da conta e os comprovativos de custos para analisar trabalhos individuais.

A cache de prompts também difere da reutilização de traduções, que conserva o texto de destino alinhado com o texto de origem que não mudou. A recuperação de contexto seleciona instruções para gerar novo conteúdo. Distinguir estes mecanismos permite explicar tanto um pedido com um custo mais baixo como uma execução que nem sequer precisou de traduzir conteúdo inalterado.