Almacenamiento de instrucciones en caché

Descubre cuándo un proveedor puede reutilizar entradas repetidas del modelo y cómo interpretar los campos de tokens y costes resultantes.

Las solicitudes de traducción recurrentes suelen compartir instrucciones, aunque cambie el texto de origen. El almacenamiento de instrucciones en caché permite al proveedor del modelo reutilizar un prefijo de entrada repetido en lugar de procesar toda la entrada desde el principio cada vez. La solicitud sigue generando una traducción nueva.

Lingo.dev coloca las instrucciones estables antes del material específico de cada solicitud y proporciona indicaciones de caché y un enrutamiento adecuados para cada proveedor. Es el proveedor quien decide si una solicitud obtiene un acierto de caché.

Qué puede mantenerse igual entre solicitudes #

Las instrucciones del sistema, las reglas aplicables y la voz seleccionada contribuyen a formar un prefijo idéntico byte a byte mientras no cambie la configuración. El material recuperado del glosario y el contenido de la solicitud aparecen después de esa parte estable. Modificar el texto de las reglas o de la voz cambia el prefijo y puede impedir que se reutilice la entrada almacenada previamente en caché.

Las rutas compatibles de Anthropic y Google utilizan puntos de corte explícitos para la caché efímera. Otros proveedores pueden almacenar las entradas en caché automáticamente o funcionar de otra manera. El tamaño mínimo de entrada, el tiempo de vigencia y los precios dependen de cada proveedor; la compatibilidad con uno no implica que otro se comporte igual.

Las solicitudes repetidas con el mismo prefijo pueden beneficiarse de la caché. El tráfico esporádico, los cambios de contexto, una ruta de proveedor distinta o la política del proveedor pueden hacer necesario procesar la entrada de nuevo. Una configuración estable, por sí sola, no garantiza un acierto de caché, un descuento ni una mejora de la latencia.

Interpreta el uso sin contar dos veces la misma entrada #

Los informes de tokens de la cuenta pueden incluir el total de tokens de entrada, los tokens de salida y los tokens de lectura y escritura en caché. Los contadores de caché reflejan partes del procesamiento de entrada; no los sumes al total de entrada como si cada contador representara tokens independientes.

Por ejemplo, un total de 1000 tokens de entrada con 800 tokens de lectura de caché no equivale a 1800 tokens de entrada. Las definiciones del proveedor determinan qué cantidades de entrada nueva y de entrada almacenada en caché pueden deducirse del informe. La ausencia de datos de uso no demuestra que no se haya realizado trabajo.

Para consultar una traducción concreta, abre sus solicitudes al modelo. Esta vista muestra los tokens de entrada y salida registrados y el coste del proveedor para el intento completo, que puede abarcar varios destinos de documento. La respuesta del trabajo proporciona el progreso y las URL de descarga; utiliza los informes de la cuenta para analizar la actividad de la caché y el gasto del conjunto de solicitudes.

Distingue el ahorro del resto del trabajo #

Un acierto de caché puede reducir el procesamiento de entrada del proveedor, pero la salida sigue generándose y el cargo por localización sigue aplicándose. Las mediciones independientes, la revisión profesional y el plan de la plataforma tienen sus propios costes. Utiliza Uso para consultar el gasto de la cuenta y justificantes de costes para consultar el de trabajos concretos.

El almacenamiento de instrucciones en caché también se diferencia de la reutilización de traducciones, que conserva el texto de destino alineado con el texto de origen que no ha cambiado. La recuperación de contexto selecciona instrucciones para generar contenido nuevo. Distinguir estos mecanismos permite explicar tanto una solicitud de menor coste como una ejecución en la que no fue necesario traducir el contenido que seguía igual.