Almacenamiento de prompts en caché

Descubre cuándo un proveedor puede reutilizar entradas repetidas del modelo y cómo interpretar los campos de tokens y costos resultantes.

Las solicitudes de traducción recurrentes suelen compartir instrucciones, aunque cambie el texto de origen. El almacenamiento de prompts en caché permite que un proveedor de modelos reutilice un prefijo de entrada repetido, en lugar de procesar esa entrada desde cero cada vez. Aun así, cada solicitud genera una traducción nueva.

Lingo.dev coloca las instrucciones estables antes del contenido específico de cada solicitud y proporciona indicaciones de caché y un enrutamiento adecuados para cada proveedor. El proveedor determina si una solicitud obtiene una coincidencia en caché.

Qué puede mantenerse igual entre solicitudes #

Las instrucciones del sistema, las reglas de coincidencia y la voz seleccionada contribuyen a formar un prefijo que se mantiene idéntico byte por byte mientras no cambie la configuración. El material recuperado del glosario y el contenido de la solicitud se colocan después de esa parte estable. Editar el texto de las reglas o de la voz modifica el prefijo y puede impedir que se reutilice la entrada almacenada previamente en caché.

Las rutas compatibles de Anthropic y Google usan puntos de corte explícitos para la caché efímera. Otros proveedores pueden almacenar entradas en caché automáticamente o funcionar de otra manera. El tamaño mínimo de entrada, la vigencia y los precios dependen de cada proveedor; la compatibilidad con uno no implica que otro funcione igual.

Las solicitudes recurrentes con el mismo prefijo pueden aprovechar la caché. Las solicitudes poco frecuentes, los cambios de contexto, una ruta distinta hacia el proveedor o sus políticas pueden hacer necesario un nuevo procesamiento. Por sí sola, una configuración estable no garantiza una coincidencia en caché, un descuento ni una mejora en la latencia.

Interpreta el uso sin contar la misma entrada dos veces #

Los informes de tokens de la cuenta pueden incluir el total de tokens de entrada, los de salida, los leídos de la caché y los escritos en ella. Los contadores de caché representan partes del procesamiento de entrada; no los sumes al total de entrada como si cada contador correspondiera a tokens adicionales.

Por ejemplo, 1,000 tokens de entrada en total, de los cuales 800 se leyeron de la caché, no equivalen a 1,800 tokens de entrada. Las definiciones de cada proveedor determinan qué cantidades de tokens nuevos y almacenados en caché pueden calcularse a partir del informe. La falta de datos de uso no demuestra que no haya habido procesamiento.

Para consultar una traducción individual, abre sus solicitudes al modelo. Esta vista muestra los tokens de entrada y salida registrados y el costo del proveedor para todo el intento, que puede abarcar varios destinos de documentos. La respuesta del trabajo proporciona el progreso y las URL de descarga; usa los informes de la cuenta para analizar la actividad de caché y el gasto de las distintas solicitudes.

Distingue los ahorros de otros procesos #

Una coincidencia en caché puede reducir el procesamiento de entrada del proveedor, pero la generación de salida y el cargo por localización siguen aplicándose. Las mediciones independientes, la revisión profesional y el plan de la plataforma tienen sus propios costos. Usa Uso para consultar el gasto de la cuenta y evidencia de costos para consultar trabajos individuales.

El almacenamiento de prompts en caché también es distinto de la reutilización de traducciones, que conserva el texto de destino alineado con el texto de origen que no ha cambiado. La recuperación de contexto selecciona instrucciones para generar contenido nuevo. Distinguir estos mecanismos permite explicar tanto una solicitud de menor costo como una ejecución en la que no fue necesario traducir el contenido que seguía igual.