Coûts

Expliquez les dépenses de traduction et de mesure enregistrées sans compter deux fois les mêmes opérations ni assimiler les données manquantes à une utilisation gratuite.

L’analyse des coûts commence par les opérations dont on cherche à établir le prix. Générer une traduction, en faire la relecture et l’évaluer selon un critère sont des opérations distinctes. Les enregistrements correspondants peuvent aussi se recouper : une même requête au modèle peut servir plusieurs documents et apparaître dans les vues de plusieurs étapes.

Appuyez-vous sur les données des requêtes, des étapes et des mesures pour expliquer chaque opération. Utilisez l’utilisation du compte et la Facturation pour effectuer le rapprochement comptable sur la période du compte et vérifier les paramètres de paiement.

Identifiez l’unité comptable #

EnregistrementInformations à lire avec le montant
Requête de traductionModèle réellement utilisé, statut, tokens, recours à un modèle de secours et indication précisant si la requête correspond à une tentative ou au résultat utilisé.
Étape du pipelineTentatives liées au modèle et éventuelle commande de relecture externe, avec son prestataire et les frais enregistrés.
Résultat de mesureIdentité du modèle évaluateur ou de l’algorithme, utilisation liée à la réponse et coût enregistré.
Utilisation du comptePériode de facturation, organisation, catégorie d’utilisation et frais ou crédits.

Comptez chaque opération une seule fois. Associer plusieurs réponses d’évaluateurs à une même requête ne multiplie pas son coût de génération. De même, avant d’ajouter les coûts des requêtes au total d’une tâche, vérifiez quelles requêtes ce total inclut déjà.

Examinez chaque tentative du modèle dans son ensemble #

La vue de la requête consigne inputTokens, outputTokens et providerCostUsd lorsque le fournisseur a transmis ces données. Ces chiffres concernent la requête au modèle dans son ensemble. Un lot peut servir plusieurs documents ou cibles : éliminez donc les doublons d’identifiants de requête lorsque vous comparez des étapes ou des langues.

Le montant indiqué par le fournisseur n’est pas une facture pour la tâche. Pour expliquer les dépenses de génération, incluez les tentatives ayant échoué et les recours réussis à un modèle de secours, puis effectuez séparément le rapprochement de l’utilisation de la plateforme et des éventuelles relectures externes. La mise en cache des prompts peut influer sur le travail du fournisseur, mais la répétition d’une entrée ne garantit ni l’utilisation du cache, ni une remise, ni une réduction de la latence.

Distinguez un coût manquant d’un coût nul #

Certains enregistrements ne contiennent pas toutes les données comptables nécessaires. Les événements Crowdin ne fournissent aucune donnée d’utilisation liée à la génération, et les événements issus des tâches peuvent également en être dépourvus. Ces champs d’événement ne permettent donc pas d’établir les dépenses totales de génération. Un tiret dans la vue des requêtes au modèle signifie que les tokens ou le coût du fournisseur correspondants n’ont pas été enregistrés ; il ne signifie pas zéro.

Le coût d’une mesure par LLM peut être enregistré à zéro lorsque le fournisseur n’a communiqué aucun coût. La réponse actuelle contenant le résultat ne permet pas de distinguer ce cas d’une dépense dont on sait qu’elle est nulle. Appuyez-vous sur des données comptables indépendantes pour établir la couverture des données de coût, plutôt que de considérer chaque zéro comme une opération gratuite ou un montant manquant.

Le taux de modification et la distance de modification sont calculés sans LLM : les dépenses liées au modèle sont donc nulles. Les exécutions de mesure réussies font néanmoins l’objet d’un suivi comptable de l’utilisation. Les résultats ignorés en raison d’une condition, les nouvelles tentatives et les échecs suivent des parcours différents ; additionner les coûts des réponses visibles ne permet de reconstituer ni la facture ni l’ensemble des tentatives d’évaluation.

Gardez les frais de relecture externe associés à l’enregistrement de relecture #

Ouvrez l’étape de relecture humaine pour examiner la commande externe, le prestataire et les frais enregistrés. Distinguez une commande facturée via Lingo.dev d’une commande qui utilise la connexion de votre organisation au prestataire. Les frais peuvent rester dus même si une équipe reprend le travail ou refuse un résultat livré tardivement par le prestataire. Le paiement d’une relecture ne permet pas de savoir quel texte a été retenu comme résultat accepté. La relecture dans Inbox explique cette décision.

Comparez le coût au résultat obtenu #

Pour comparer des modèles, veillez à garder comparables le contenu, les paires de langues, les exigences et les conditions temporelles. Incluez les nouvelles tentatives, le recours à un modèle de secours et les étapes supplémentaires. Un échantillon réussi à faible coût ne suffit pas à démontrer un faible coût par traduction acceptée sur l’ensemble du workflow.

Pour évaluer le rendement des mesures, un calcul utile consiste à diviser le coût enregistré du modèle évaluateur pour le groupe sélectionné de réponses terminées par le nombre de réponses de ce groupe permettant de trancher. Incluez dans ce numérateur le coût des évaluations terminées dont la réponse est nulle : elles ont mobilisé des ressources sans produire de jugement déterminé. Désignez ce montant comme le coût enregistré des réponses, car les tentatives ayant échoué, les tentatives invalides et les nouvelles tentatives peuvent en être absentes.

Affichez à côté de ce calcul le taux d’achèvement et la couverture des réponses permettant de trancher, ainsi que le périmètre du numérateur et les lacunes des données de coût établies de manière indépendante. Maîtriser les coûts de localisation sans masquer les échecs approfondit la comparaison globale entre les dépenses, les résultats utilisables et le travail inachevé.