Concevoir une mesure de la qualité des traductions
Transformez une exigence linguistique en critère vérifiable, étalonnez les réponses obtenues et rendez compte de la fréquence et de la portée des problèmes détectés.
Un score de qualité est utile si l’on peut expliquer ce qui le ferait changer. Si une condition importante disparaît d’une traduction, la mesure doit détecter cette perte. Si la personne qui traduit exprime la même idée plus naturellement, la mesure doit reconnaître cette différence comme acceptable. Concevoir une mesure consiste à rendre ces distinctions suffisamment explicites pour pouvoir les tester.
Ce guide suit une exigence de sa définition à la présentation des résultats, en passant par l’étalonnage. Il s’applique aux traductions provenant d’un prestataire, d’un pipeline interne ou de Lingo.dev. Vous obtenez ainsi une mesure qu’une autre personne peut exécuter et interpréter dans les mêmes conditions, plutôt qu’un chiffre dont le sens dépend de la présence de son auteur.
Définir le changement de sens qui compte #
Partez de l’effet recherché par le contenu. Une instruction doit conduire à la bonne action. Une affirmation doit conserver sa force et ses réserves. Un terme propre au produit doit désigner le même concept dans une autre langue. « Traduction fidèle » exprime l’ambition, mais laisse ces distinctions implicites.
Examinez le degré de certitude et les conditions. Dans pourrait devenir disponible après approbation, la possibilité, l’exigence d’approbation et le lien entre les deux sont tous porteurs de sens. Transformer cette formulation en promesse inconditionnelle modifie l’affirmation, même si la traduction conserve les mots liés à la disponibilité et à l’approbation.
Un critère portant sur cette distinction pourrait se formuler ainsi :
Exemple de critère : préserver les affirmations et les conditions
Comparez l’affirmation du texte source à celle du texte cible. Vérifiez si le texte cible préserve :
- Le degré de certitude ou d’obligation.
- Chaque condition qui limite les circonstances dans lesquelles l’affirmation s’applique.
- Le lien entre la condition et l’affirmation.
Acceptez des formulations et des structures de phrase différentes lorsqu’elles préservent ces éléments de sens. En cas d’erreur présumée, identifiez les passages source et cible et expliquez quel engagement ou quelle condition a changé. Si le texte disponible ne permet pas d’étayer la comparaison, expliquez ce qui manque.
Le critère donne à l’évaluateur un élément observable à examiner. Il offre aussi à la personne chargée de la relecture un moyen de contester le résultat. Une demande vague de « vérifier la fidélité » laisse à chacun le soin de définir sa propre norme.
Choisissez un périmètre adapté à la prochaine décision. Repérer les affirmations qui nécessitent une relecture approfondie demande une détection fiable et des constats compréhensibles. Comparer des prestataires exige aussi un échantillon commun et un moyen de synthétiser les constats. Décider de publier un contenu précis nécessite de connaître les exigences qui s’y appliquent. Un même contrôle peut éclairer chacune de ces décisions sans les prendre toutes les trois à lui seul.
Sélectionner le texte qui permet de répondre à la question #
Définissez l’unité mesurée. Pour le critère ci-dessus, utilisez une affirmation source et sa traduction correspondante, avec suffisamment de texte autour pour interpréter la condition. Conservez ensemble l’identifiant du contenu, la révision source, la révision cible et la langue. Une traduction correcte d’une ancienne version du texte source peut sembler erronée si elle est comparée à la nouvelle version.
Sélectionnez du contenu qui présente la distinction examinée. Un libellé de navigation sans affirmation sort du périmètre de ce critère. Le compter comme conforme améliorerait le taux sans rien révéler sur la préservation du degré de certitude ou des conditions.
L’absence d’éléments probants pose un autre problème. Si une affirmation sélectionnée n’a pas de texte source associé, elle fait toujours partie du travail évalué, mais la comparaison ne peut pas encore être effectuée. Gardez cette lacune visible. Si vous ne savez pas clairement si le critère s’applique, consignez cette incertitude au lieu d’écarter discrètement l’élément.
Fournissez le contexte susceptible de modifier la réponse. La définition d’un terme ou une règle du produit peut lever une ambiguïté ; du contenu sans rapport risque seulement de détourner l’attention. Un contrôle orthographique limité au texte cible nécessite moins d’éléments qu’une comparaison du sens entre source et cible. La question détermine ce qu’il faut recueillir.
Donner un sens clair à chaque réponse #
Pour l’exemple de préservation des affirmations, trois réponses suffisent :
| Réponse | Signification |
|---|---|
| Préservé | Le texte cible conserve le degré de certitude, les obligations et les conditions pertinentes du texte source. Les formulations équivalentes sont acceptées. |
| Modifié | Une partie identifiable de ce sens a changé ou disparu. Le constat précise les passages concernés. |
| Indéterminé | L’évaluateur a terminé la comparaison, mais les éléments disponibles ne lui permettent d’étayer ni l’une ni l’autre des conclusions. Son explication précise l’incertitude. |
Il s’agit de libellés méthodologiques. Faites-les correspondre au format de réponse réel de l’outil utilisé ; ils ne constituent pas un schéma d’API. Par exemple, une mesure booléenne personnalisée dans Radar peut renvoyer true, false ou une réponse null accompagnée d’un raisonnement. Examinez ce raisonnement, car null peut correspondre à plusieurs causes.
Utilisez une échelle numérique lorsque des niveaux intermédiaires expriment une différence utile. Définissez ces niveaux dans des termes reconnaissables par la personne chargée de la relecture. Une valeur de 80 doit signifier quelque chose de plus précis que « plutôt bien ». Si la gravité compte, définissez-la par les conséquences de l’erreur et gardez les constats graves visibles lorsque vous regroupez les résultats. Une moyenne élevée peut coexister avec un changement inacceptable dans un passage critique.
Une requête qui échoue ne produit aucune réponse linguistique issue d’une évaluation terminée. Distinguez ce cas de celui où un évaluateur a terminé son travail et renvoyé une réponse indéterminée. Cette distinction détermine la prochaine action : rétablir l’exécution ou lever l’ambiguïté dans les éléments disponibles.
Tester la mesure sur des cas déjà analysés #
Préparez un jeu d’étalonnage à partir de contenu que l’équipe est autorisée à évaluer. Incluez des erreurs évidentes, de bonnes traductions, des reformulations naturelles et des cas dont les réponses dépendent du contexte. Incluez aussi du contenu hors du périmètre du critère pour tester aussi bien la sélection que le jugement.
Demandez à des personnes qualifiées pour la relecture d’établir les réponses attendues et leurs justifications. Les désaccords sont instructifs. Si le texte source admet deux interprétations, clarifiez le sens voulu ou conservez l’incertitude. Si la norme est claire, mais que l’évaluateur rejette une reformulation acceptable, la mesure doit être améliorée.
Examinez séparément deux types d’erreurs :
- Les fausses alertes sont des traductions acceptables signalées comme erronées. Elles mobilisent l’attention consacrée à la relecture et peuvent entraîner des modifications inutiles.
- Les erreurs non détectées sont de véritables problèmes que la mesure ne repère pas. Leurs conséquences dépendent de la nature du sens perdu, et pas seulement de leur fréquence.
Testez la mesure révisée sur des exemples qui n’ont pas servi à rédiger ses instructions. Lorsqu’un LLM fournit l’évaluation, conservez le modèle, le prompt, la configuration et les variations observées au fil des exécutions répétées. La concordance avec ses propres réponses précédentes ne prouve pas qu’il suit la norme de l’équipe.
L’étalonnage doit aboutir à un bilan concret des situations où le contrôle fonctionne et de celles où il nécessite davantage d’éléments. Une méthode testée sur un type de contenu et une paire de langues constitue un point de départ utile, pas une conclusion sur toutes les traductions produites par l’entreprise.
Rendre compte du problème et du travail examiné #
Une fois que le contrôle s’avère utile sur des cas connus, appliquez-le à un ensemble ou à un échantillon défini. Consignez la manière dont cet échantillon a été choisi. Un échantillon aléatoire peut étayer une conclusion différente de celle d’un échantillon sélectionné parce qu’un autre contrôle avait déjà jugé les traductions à risque. Ce dernier peut aider à repérer des problèmes sans permettre d’estimer leur fréquence dans l’ensemble du contenu.
Prenons cet exemple de résultats pour 100 paires source-traduction sélectionnées et admissibles :
| Résultat | Paires |
|---|---|
| Sens préservé | 72 |
| Sens modifié | 8 |
| Évaluation terminée, mais résultat indéterminé | 10 |
| Aucune évaluation terminée | 10 |
Les évaluations ont été menées à terme pour 90 % des paires sélectionnées. Elles ont produit des réponses déterminées pour 80 % des paires. Parmi ces 80 réponses, 8 ont identifié un changement, soit un taux de problèmes détectés de 10 % parmi les réponses déterminées. Les 20 paires restantes ne permettent de conclure ni à un sens préservé ni à un sens modifié.
Ces trois chiffres comptent. Les 72 sens préservés sur 80 réponses déterminées donnent un taux de conformité de 90 % parmi les réponses déterminées. Indiquer uniquement « 90 % de conformité » masquerait les 10 évaluations terminées avec une réponse indéterminée et les 10 paires sans évaluation terminée. Le taux de problèmes détectés de 10 % reste lui aussi un résultat de cette mesure sur cette sélection ; l’interpréter comme un taux d’erreur plus général exige un échantillon adapté et des données sur les fausses alertes et les erreurs non détectées.
Ventilez les résultats par langue et par type de contenu lorsque ces distinctions peuvent influer sur la décision. Présentez les effectifs aussi bien que les taux. Une langue pour laquelle peu de résultats sont déterminés doit faire l’objet d’un examen avant de se fondre dans un chiffre global rassurant. Conservez des exemples de problèmes récurrents pour que le rapport explique ce que l’équipe améliorerait concrètement.
Garder des comparaisons pertinentes après un changement #
Enregistrez le critère et sa configuration avec les éléments utilisés pour la comparaison. Si le prompt, le modèle, la règle d’admissibilité ou l’exigence du texte source change, testez la nouvelle définition avant de considérer ses résultats comme une continuation des précédents.
Pour comparer deux mesures, évaluez le même texte conservé selon les deux définitions. Pour comparer deux approches de traduction, gardez les critères et les conditions pertinentes constants. Sinon, une variation du score peut refléter une nouvelle question ou un contenu plus facile plutôt qu’une amélioration des traductions.
Conserver les éléments de comparaison avant de réévaluer l’historique
L’évaluation historique de Radar remplace les réponses précédentes pour la mesure et l’intervalle sélectionnés. Avant de l’utiliser, enregistrez les définitions et les résultats antérieurs nécessaires à la comparaison. Une nouvelle exécution ne conserve pas les deux volets de l’expérience.
La mesure est prête à l’emploi lorsqu’une autre personne peut sélectionner le texte prévu, fournir les éléments nécessaires, expliquer chaque réponse et reproduire le calcul présenté. Utilisez les mesures d’événements ou l’évaluation en local avec la CLI pour mettre en œuvre le contrôle. Pour un workflow externe continu, Mesurer les traductions de votre pipeline traite de la collecte et de la reprise ; Valider les constats de qualité approfondit l’étape suivante : déterminer si un problème signalé est réel.