Mise en cache des prompts

Découvrez quand un fournisseur peut réutiliser des données d’entrée identiques envoyées au modèle et comment interpréter les champs de jetons et de coûts associés.

Les demandes de traduction récurrentes utilisent souvent les mêmes instructions, même lorsque le texte source change. La mise en cache des prompts permet au fournisseur du modèle de réutiliser un préfixe d’entrée identique plutôt que de retraiter ces données depuis le début à chaque demande. Chaque demande génère néanmoins une nouvelle traduction.

Lingo.dev place les instructions stables avant les éléments propres à chaque demande et fournit des indications de mise en cache ainsi qu’un routage adaptés au fournisseur. C’est le fournisseur qui détermine si une demande peut réutiliser les données en cache.

Ce qui peut rester identique d’une demande à l’autre #

Les instructions système, les règles de correspondance et la voix sélectionnée contribuent à former un préfixe identique octet par octet tant que la configuration reste inchangée. Les éléments récupérés dans le glossaire et le contenu de la demande viennent après cette partie stable. Modifier le texte des règles ou de la voix change le préfixe et peut empêcher la réutilisation des données d’entrée précédemment mises en cache.

Les voies de traitement prises en charge pour Anthropic et Google utilisent des points de délimitation explicites pour la mise en cache éphémère. D’autres fournisseurs peuvent mettre les données en cache automatiquement ou fonctionner différemment. La taille minimale des données d’entrée, la durée de conservation et la tarification dépendent du fournisseur ; la prise en charge chez l’un ne signifie pas que le comportement sera le même chez un autre.

Des demandes répétées avec le même préfixe peuvent bénéficier de la mise en cache. Des demandes peu fréquentes, un contexte modifié, un routage différent vers le fournisseur ou la politique de celui-ci peuvent imposer un nouveau traitement. Une configuration stable ne garantit pas, à elle seule, la réutilisation des données en cache, une réduction de coût ou une amélioration de la latence.

Lire les données d’utilisation sans compter deux fois les mêmes entrées #

Les rapports de consommation de jetons du compte peuvent indiquer le total des jetons d’entrée, les jetons de sortie, les jetons lus depuis le cache et les jetons écrits dans le cache. Les compteurs du cache décrivent des composantes du traitement des entrées ; ne les ajoutez pas au total des jetons d’entrée comme si chacun représentait des jetons distincts.

Par exemple, 1 000 jetons d’entrée au total et 800 jetons lus depuis le cache ne signifient pas 1 800 jetons d’entrée. Les définitions du fournisseur déterminent quelles quantités nouvellement traitées ou mises en cache peuvent être déduites du rapport. L’absence de données d’utilisation ne prouve pas qu’aucun traitement n’a eu lieu.

Pour une traduction donnée, ouvrez ses requêtes au modèle. Cette vue affiche les jetons d’entrée et de sortie enregistrés, ainsi que le coût facturé par le fournisseur pour l’ensemble de la tentative, qui peut couvrir plusieurs documents cibles. La réponse de la tâche fournit les URL de suivi de progression et de téléchargement ; utilisez les rapports du compte pour examiner l’activité du cache et les dépenses sur l’ensemble des demandes.

Distinguer les économies des autres traitements #

La réutilisation des données en cache peut réduire le traitement des entrées par le fournisseur, mais la génération de sortie a toujours lieu et des frais de localisation s’appliquent toujours. Les mesures indépendantes, la relecture professionnelle et l’abonnement à la plateforme ont leurs propres coûts. Consultez Utilisation pour les dépenses du compte et les justificatifs de coût pour chaque opération.

La mise en cache des prompts se distingue aussi de la réutilisation des traductions, qui conserve le texte cible correspondant à un texte source inchangé. La récupération du contexte sélectionne les instructions pour une nouvelle génération. Distinguer ces mécanismes permet d’expliquer aussi bien une demande moins coûteuse qu’une exécution qui n’a pas eu besoin de traduire le contenu inchangé.