Mesurer la qualité des traductions dans votre pipeline
Ajoutez une mesure reproductible à votre workflow de traduction existant, tout en gardant une trace claire des révisions, des réponses et du travail inachevé.
Votre workflow de traduction sait déjà d’où vient le contenu et où enregistrer le texte accepté. Ajoutez la mesure à une étape qui permet de conserver les versions source et cible, puis rattachez chaque réponse à cet enregistrement. L’équipe peut ainsi examiner la qualité sans changer le système qui produit ou gère les traductions.
Ce guide suit une mesure récurrente, de la collecte à la reprise et aux rapports. Commencez par définir un critère, par exemple le respect des conditions énoncées dans les promesses produit. Concevoir une mesure de la qualité des traductions explique comment formuler et calibrer ce critère.
Relier le contrôle à une source de collecte réelle #
Choisissez le mode d’exécution avant de construire l’automatisation autour de celui-ci :
| Travail existant | Mode de mesure |
|---|---|
| Suggestions et traductions Crowdin | Connectez Crowdin, activez une mesure des événements, puis consultez l’activité collectée et les résultats dans Radar. |
| Fichiers de traduction locaux | Exécutez lingo score avec un évaluateur et une configuration de modèle ; conservez son fichier de résultats local. |
| Requêtes de traduction Lingo.dev | Exécutez une mesure sur leurs localisations terminées et consultez les réponses dans Radar. |
La source des événements collectés par Radar détermine les données reçues. Elle ne fournit pas de point de terminaison générique permettant d’envoyer n’importe quelle traduction ou n’importe quel score. Pour un pipeline développé en interne sans source de collecte prise en charge, conservez l’enregistrement des révisions décrit ci-dessous et mettez en place le mécanisme de transmission avant d’automatiser l’envoi. Un critère personnalisé ne suffit pas à créer ce mécanisme.
Collecter les traductions explique ces limites. La méthode de mesure reste utile quel que soit le système qui gère le texte accepté ; la notation locale et l’historique des événements produisent simplement des enregistrements différents qu’il faut rapprocher.
Conserver ensemble les versions source et cible #
Choisissez un identifiant de contenu qui reste stable malgré les modifications, puis enregistrez les révisions source et cible exactes qui ont été évaluées. Un identifiant de message ne suffit pas à distinguer une réponse portant sur le texte d’hier d’une réponse portant sur la correction d’aujourd’hui.
À titre d’exemple, un enregistrement géré par le client pourrait contenir :
{
"contentId": "checkout.delivery",
"sourceRevision": "source-17",
"targetRevision": "fr-12",
"targetLocale": "fr",
"criterionVersion": "delivery-promise-3",
"sourceText": "Your order will arrive within five business days.",
"targetTextLocation": "accepted catalog at revision fr-12"
}Il s’agit d’un exemple de suivi, et non d’un schéma de requête Lingo.dev. Stockez le texte cible lui-même ou une référence immuable accessible à l’évaluateur. Un lien vers la « dernière version » peut changer pendant l’évaluation. Conservez avec l’enregistrement la date et l’heure de l’occurrence, le producteur s’il est connu et l’emplacement du texte accepté.
Ajoutez les éléments nécessaires selon la question posée. Pour vérifier la préservation du sens, il faut associer le texte source au texte cible ; pour examiner les modifications, il faut disposer du brouillon lui-même ; pour vérifier la terminologie, une définition et un contexte d’utilisation peuvent être nécessaires. Un contrôle orthographique peut ne nécessiter que le texte cible. Si les éléments nécessaires manquent pour un message admissible, cela reste une lacune dans l’évaluation, et non une raison de considérer le message comme conforme ou non pertinent.
Terminer un cycle complet, de la collecte à la réponse #
Pour Crowdin, suivez les instructions de connexion, puis configurez la mesure des événements, son déclencheur et les langues cibles. Pour les traductions Lingo.dev, vérifiez les moteurs de la mesure, les langues source et cible ainsi que l’échantillon. Enregistrez ces paramètres avant de générer l’activité ou la requête de test.
Retrouvez l’événement ou la requête qui en résulte et comparez son texte à l’enregistrement conservé. Examinez ensuite la réponse au regard du critère. La réception d’un événement, la sélection d’une évaluation et l’obtention d’une réponse finale sont des jalons distincts. Un nouveau paramètre de sélection n’évalue pas rétroactivement les anciens événements ; utilisez l’évaluation historique si c’est votre objectif.
Conservez un enregistrement de rapprochement simple dans le workflow : révision sélectionnée, identifiant de l’événement ou de la requête reçus, identifiant de la mesure, réponse finale et toute lacune non résolue. Événements et Résultats expliquent les champs réellement disponibles. Pour la notation locale, conservez plutôt ensemble les fichiers source, la configuration et le fichier de sortie.
Traiter différemment les répétitions et les corrections #
Une nouvelle tentative transmet à nouveau la même révision. Une correction crée une nouvelle révision cible, même si l’identifiant du contenu reste inchangé. Consignez cette distinction dans votre enregistrement avant d’appliquer les règles de déduplication propres à la source.
Par exemple, une échéance corrigée doit donner lieu à une nouvelle révision cible et à une nouvelle comparaison avec la source applicable. Conservez le texte et la réponse précédents si vous devez montrer ce qui s’est amélioré. Si la promesse formulée dans la source a également changé, conservez sa nouvelle révision ; comparer la nouvelle cible à l’ancienne source peut faire apparaître un défaut qui n’en est pas un.
Les transmissions des fournisseurs ne bénéficient pas toutes d’une garantie d’idempotence unique et illimitée. Des actions de relecture répétées dans Crowdin peuvent avoir des identifiants d’événement distincts, tandis que d’autres activités utilisent leurs propres informations d’occurrence. Rapprochez les accusés de réception et les résultats disponibles avant de répéter un travail dont l’issue est incertaine.
Reprendre à partir du dernier jalon confirmé #
| Ce que vous pouvez établir | Prochaine vérification |
|---|---|
| La source contient la révision, mais aucun événement n’est trouvé | Vérifiez la connexion, le type d’activité pris en charge, la période et les éléments attestant la collecte. |
| L’événement existe, mais aucune réponse n’est trouvée | Vérifiez les conditions de mesure activées, les langues, les données requises et le traitement asynchrone. |
| L’évaluateur a terminé son travail avec une réponse indéterminée | Lisez son explication, puis fournissez les éléments manquants ou levez l’ambiguïté. |
| Le critère ne s’applique effectivement pas | Conservez cette décision et excluez l’élément du dénominateur utilisé pour calculer la qualité selon ce critère. |
| L’exécution a échoué | Identifiez l’échec avant de retenter le travail concerné via le mode d’exécution pris en charge. |
Une absence ne permet pas, à elle seule, de distinguer un traitement en attente, un échec, une donnée d’entrée perdue ou un travail non demandé. Gardez cette incertitude visible jusqu’à ce que des éléments permettent de la lever. Répéter la génération n’est pas une solution fiable pour remédier à une évaluation asynchrone manquante.
Si la reprise utilise l’évaluation historique, laissez Uniquement les événements non encore mesurés activé pour combler les lacunes sans toucher aux réponses existantes. Mesurer à nouveau la période remplace les réponses précédentes de cette mesure sur tout l’intervalle sélectionné : conservez-les donc au préalable. Vérifiez les événements attendus et les réponses renvoyées, plutôt que de considérer la réponse au lancement comme la preuve que le traitement est terminé.
Présenter les réponses et le travail resté sans réponse #
Prenons l’exemple d’un lot de 50 révisions admissibles. Les évaluations se sont terminées pour 45 d’entre elles et ont produit des réponses déterminées pour 40. Parmi ces dernières, 36 indiquaient que l’exigence avait été préservée et 4 qu’elle n’avait pas été respectée.
La couverture des évaluations terminées est de 45/50, soit 90 %. La couverture des réponses déterminées est de 40/50, soit 80 %. Le taux de conformité parmi les réponses déterminées est de 36/40, soit 90 %. Les cinq réponses finales mais indéterminées et les cinq révisions sans évaluation terminée restent comptabilisées séparément.
Présentez les mêmes décomptes par langue ou par catégorie de contenu lorsque le travail manquant est inégalement réparti. Gardez visible toute incertitude sur l’applicabilité du critère jusqu’à ce qu’elle soit levée. Un taux de conformité élevé pour les enregistrements ayant reçu une réponse ne dit rien de ceux qui n’en ont pas reçu.
Conserver le critère avec le résultat #
Conservez la consigne du critère, les éléments requis, les définitions des réponses et la configuration de l’évaluateur avec les révisions du contenu. Testez les définitions modifiées sur des exemples connus avant de regrouper leurs réponses pour dégager une tendance. Modifier un critère peut changer les scores sans changer les traductions.
Lorsqu’un constat est confirmé, corrigez le texte dans le système qui le gère et évaluez la nouvelle révision. Valider les constats de qualité aide à établir ce diagnostic. La mesure apporte les éléments nécessaires à la décision ; l’enregistrement en retour et la publication restent des actions explicites dans le workflow existant.