Mesures intégrées

Découvrez les contrôles intégrés de qualité et de modification : données d’entrée, algorithmes, échelles de réponse et comportement en l’absence d’éléments probants.

Les mesures intégrées répondent à des questions précises sur une traduction ou une modification. Le taux de modification indique si deux textes diffèrent. Le respect du glossaire indique si les termes pertinents ont été utilisés. Ces valeurs sont utiles ensemble à condition que chacune conserve son propre sens ; elles ne constituent pas une échelle de qualité universelle.

Activez ces contrôles dans Mesures ; vous pouvez aussi activer le respect du glossaire et des règles pour chaque moteur depuis son onglet Évaluateurs, comme expliqué dans Relire les traductions de Lingo.dev. Cette référence détaille ce que chaque mesure calcule et les éléments qui peuvent étayer sa réponse.

MQM #

MQM demande à un modèle de lister les erreurs de la traduction, et rien d’autre : jamais un score. Pour chaque erreur, il renvoie les mots exacts qui posent problème, l’une des sept dimensions MQM Core (exactitude, terminologie, conventions linguistiques, style, conventions de la langue, adéquation au public, conception et balisage), un niveau de gravité (neutre, mineur, majeur ou critique) et une ligne décrivant le problème. Lorsque l’événement désigne un moteur de localisation, le modèle reçoit aussi les consignes actuelles de ce moteur : sa voix de marque pour la langue, ses règles et les termes du glossaire utilisés dans la source, ainsi que le contexte de la requête.

MQM évalue aussi les changements de traduction : chaque création et mise à jour de texte cible, quelle qu’en soit l’origine. Dans Zendesk et GitHub, une version écrite par Lingo.dev, au sens défini ci-dessous pour le taux de modification, est évaluée selon la voix de marque, les règles et les termes du glossaire utilisés pour produire sa traduction. La réponse indique alors la tâche qui l’a produite. Toute autre version, qu’il s’agisse d’une modification humaine, d’un rétablissement, d’une traduction produite par un autre outil ou d’un changement dans Crowdin, est évaluée sans les consignes d’un moteur. Le champ isLingoRecord de la réponse permet de distinguer les deux cas : false pour ces autres versions et true pour toutes les autres réponses, y compris les localisations terminées. Explore peut ainsi comparer les traductions de Lingo.dev aux autres. Les changements de traduction ne désignent aucun moteur ; une condition MQM limitée aux moteurs renvoie donc N/A pour ces changements.

Le score résulte d’un calcul sur cette liste. Les erreurs dont les mots n’apparaissent pas dans la traduction sont écartées. Chaque erreur restante reçoit un poids selon sa gravité : 0 pour neutre, 1 pour mineur, 5 pour majeur ou 25 pour critique. Le total est ensuite normalisé pour 100 mots source :

text
max(0, 100 − 100 × summed error weights / source word count)

Un score de 100 signifie qu’aucune erreur n’a été relevée. La même formule donne un score par dimension. Les mots source sont comptés dans les valeurs textuelles, et non dans leurs clés ; pour les systèmes d’écriture sans espaces, comme le chinois, le japonais, le coréen et le thaï, chaque caractère compte comme un mot. Une source sans mots reçoit la réponse N/A sans que le modèle soit sollicité.

MQM s’exécute sur les événements de localisation terminée ainsi que sur les créations et mises à jour de textes cibles. Le respect du glossaire et le respect des règles sont configurés pour les événements de localisation terminée. Le taux de modification, la distance de modification et les types de modification s’exécutent sur les créations et mises à jour de textes cibles. La plateforme définit les types d’événements autorisés pour les mesures intégrées ; consultez les paramètres actuels de la mesure au moment de l’activer.

Taux de modification #

Le taux de modification compare un changement du texte cible à la version précédente de la chaîne : la dernière création ou mise à jour antérieure du texte cible pour la même chaîne et la même langue ou, si aucune n’est enregistrée, le texte d’avant le changement fourni par l’événement. Avant la comparaison, il supprime les espaces en début et en fin de texte et remplace chaque suite d’espaces à l’intérieur du texte par un seul espace. Une chaîne sans version antérieure est considérée comme inchangée.

Lorsque Lingo.dev écrit lui-même les traductions, les trois mesures de modification fournissent une réponse pour chaque version écrite par Lingo.dev et pour le changement qu’une personne y apporte. Lingo.dev enregistre chaque traduction qu’il transmet : ce que sa synchronisation écrit dans Zendesk ou committe dans GitHub, et ce que renvoient l’API, la CLI et la CI. Une version est attribuée à Lingo.dev lorsqu’il l’a écrite lui-même, ce que permettent d’identifier son commit ou l’horodatage attribué par Zendesk, ou lorsqu’elle contient la dernière traduction transmise par Lingo.dev pour cette chaîne avant cette version, par exemple une traduction produite par la CLI. Chaque traduction n’est comptée qu’une fois, sur la première version qui la contient : si une version la rétablit après une modification humaine, ce rétablissement est attribué à la personne.

Dans ce cas, une version écrite par Lingo.dev est toujours considérée comme inchangée : taux de modification false et distance de modification de 0, tandis que les types de modification renvoient « non applicable ». Une version créée par une personne qui suit directement une version écrite par Lingo.dev est comparée à celle-ci : taux de modification true, distance du changement et types de modification. Si la personne a conservé le texte de Lingo.dev, à l’exception des espaces, le changement reçoit la réponse « non applicable » (« La personne a conservé le texte de Lingo.dev »). Il en va de même pour un changement apporté à une version que Lingo.dev n’a pas écrite ou en l’absence de version enregistrée (« Lingo.dev n’a pas écrit la version précédente »), y compris les modifications ultérieures de cette personne et son rétablissement du texte de Lingo.dev. Chaque false représente donc une traduction écrite par Lingo.dev, et chaque true une traduction modifiée par une personne : le taux de modification correspond au nombre de réponses true divisé par le nombre de réponses false. Ainsi, 5 traductions modifiées sur 100 traductions écrites par Lingo.dev donnent 5 %. De même, la distance de modification moyenne par traduction écrite par Lingo.dev correspond à la somme des distances des changements divisée par le nombre de versions de Lingo.dev.

Dans les autres sources, comme Crowdin, Lingo.dev n’écrit aucune traduction. Un changement est donc comparé à la version précédente, quelle que soit l’origine de chacune des deux versions.

RéponseSignification
trueLes textes normalisés diffèrent ; dans Zendesk et GitHub, une personne a modifié la version de Lingo.dev.
falseLes textes normalisés sont identiques, ou la chaîne n’a pas de version antérieure en dehors de Zendesk et GitHub ; dans Zendesk et GitHub, Lingo.dev a écrit cette version.
N/ADans Zendesk et GitHub, la personne a conservé le texte de Lingo.dev, ou Lingo.dev n’a pas écrit la version précédente.

Par exemple, la comparaison de Save changes et Save changes ne relève aucun changement. Celle de Save changes et Apply changes relève une modification. Aucun de ces résultats n’indique quelle formulation est la meilleure.

Si le brouillon existe mais que le champ cible est absent, l’implémentation compare le brouillon à un texte cible vide. Vérifiez les éléments probants de l’événement avant d’y voir une modification humaine terminée. À l’échelle d’une collection, rapportez le nombre de comparaisons présentant une modification au nombre de comparaisons brouillon-cible exploitables, tout en laissant les comparaisons manquantes visibles.

Distance de modification #

La distance de modification calcule la distance de Levenshtein sur les textes originaux, non normalisés : le nombre d’insertions, de suppressions et de substitutions nécessaires pour transformer l’un en l’autre. Elle divise cette distance par la longueur du texte le plus long, puis multiplie le résultat par 100.

Zéro signifie que les textes sont identiques. Plus la valeur est élevée, plus le changement textuel est important. Deux chaînes vides donnent zéro, tout comme une chaîne sans version antérieure. Un texte cible absent est traité comme un texte vide, comme pour le taux de modification.

L’implémentation compare les unités de code UTF-16, et non les mots ou les caractères tels que les perçoit une personne. Elle ignore le début et la fin communs aux deux textes. Si les parties différentes représentent encore plus d’environ 3,2 milliards de paires de caractères, par exemple deux textes sans rapport de 57 000 caractères chacun, la réponse est « non applicable », avec le motif « Les textes sont trop longs pour être comparés ». Les espaces peuvent contribuer à la distance de modification même lorsque le taux de modification considère la paire comme inchangée. Un changement d’une unité pèse aussi davantage dans le pourcentage d’une chaîne courte que dans celui d’une chaîne longue.

Utilisez les deux mesures de modification ensemble pour distinguer les petits changements fréquents des réécritures importantes occasionnelles. En dehors de Zendesk et GitHub, vérifiez d’abord les versions comparées : la version précédente peut être une modification antérieure plutôt que la traduction livrée. Aucune de ces mesures ne permet d’établir les erreurs corrigées, le temps passé ou le gain de qualité.

Lorsque vous agrégez les distances, précisez le calcul utilisé. Faire la moyenne des pourcentages par paire donne le même poids à chaque paire ; diviser la distance brute totale par la longueur totale des comparaisons donne davantage de poids aux textes longs. La réponse d’un événement individuel ne détermine pas laquelle de ces formules utiliser.

Respect du glossaire #

Le respect du glossaire compare les textes source et cible aux termes associés au moteur de localisation au moment de l’évaluation. Il nécessite un texte source, un texte cible et l’identité d’un moteur de localisation. Il sélectionne les termes associés dont la langue cible correspond et dont le texte source apparaît dans la source, à l’aide d’une recherche de sous-chaîne insensible à la casse.

Le modèle évaluateur examine chaque terme fourni. Ses instructions autorisent les flexions grammaticales naturelles des traductions personnalisées, exigent que les termes non traduisibles restent inchangés, permettent une traduction standard lorsqu’une indication de contexte ne s’applique clairement pas et acceptent l’une des entrées contradictoires pour un même terme. Un score élevé ne prouve donc pas que des définitions contradictoires dans le glossaire constituent une bonne pratique.

Le score se calcule ainsi :

text
returned findings marked applied / all returned term findings × 100

Ce calcul compte les constats renvoyés, et non chaque occurrence d’un terme ou chaque entrée du glossaire de l’organisation. Les termes non respectés alimentent l’explication. Si le modèle évaluateur ne renvoie aucun constat, la réponse finale ne comporte pas de score déterminé.

Des champs obligatoires manquants, l’absence de moteur de localisation correspondant ou de termes associés, ou encore l’absence de termes sélectionnés dans la source peuvent entraîner une réponse N/A avant l’exécution du modèle évaluateur. Lisez le motif. Un terme réellement non pertinent n’a pas besoin d’être évalué ; en revanche, un message qui aurait dû disposer d’éléments terminologiques présente toujours un manque d’éléments probants.

Cette mesure lit les consignes actuelles, aussi bien pour les événements en direct que lors d’un remplissage rétroactif. Elle ne reconstitue pas le glossaire utilisé pendant la génération. Requêtes affiche le lot source et les tentatives du modèle, sans instantané complet de l’instruction envoyée au modèle ou du glossaire. Enregistrez le contexte soumis et les définitions des termes pertinents avant de comparer les évaluations d’événements historiques, puis utilisez Glossaires pour les changements terminologiques acceptés.

Respect des règles #

Le respect des règles utilise le texte source, le texte cible, l’identité d’un moteur de localisation et les règles actuellement associées qui s’appliquent à la langue cible. Le modèle évaluateur renvoie un constat par règle fournie : respectée, non respectée ou null lorsque la règle ne s’applique pas.

Le score se calcule ainsi :

text
returned findings marked followed / returned non-null rule findings × 100

Les constats de règle ayant la valeur null sont exclus. Si tous les constats renvoyés ont la valeur null, le modèle évaluateur peut terminer sans score global. En revanche, l’absence d’éléments concernant la source, la cible ou le moteur de localisation peut empêcher son exécution. Les deux cas peuvent apparaître sous la forme N/A ; examinez donc le motif et les éléments d’exécution disponibles.

Lisez la règle non respectée et les mots qu’elle décrit avant de modifier la traduction. Une règle ambiguë ou contradictoire peut nécessiter une clarification dans Règles. Comme pour le respect du glossaire, l’évaluation des événements historiques utilise les consignes actuellement associées, et non un instantané datant de la génération.

Types de modification #

L’analyse des types de modification demande à un modèle de classer les changements entre le brouillon et le texte cible. Elle peut attribuer plusieurs catégories à une même comparaison :

LibelléChangement décrit
registerNiveau de formalité ou de politesse.
word_choiceFormulation différente, à sens identique.
terminologyTerme propre au produit ou au domaine.
reorderingOrdre des mots ou des propositions.
grammarAccord, cas, temps verbal ou autre aspect grammatical.
punctuationPonctuation ou espacement.
additionAjout d’un élément de sens omis dans le brouillon.
omissionSuppression d’un élément de sens ajouté dans le brouillon.
mistranslationChangement d’interprétation du sens.
formattingEspaces réservés, balisage, majuscules ou nombres.

Le classificateur ignore les chaînes sans version antérieure et les textes identiques après normalisation des espaces. Ses libellés décrivent des types de changement présumés, et non des défauts ou des gains de temps confirmés de manière indépendante.

Les mécanismes actuels de lecture de la liste des résultats et de leur détail ne retiennent que les réponses booléennes et numériques. Bien que le contrat de détail prévoie un champ answer pour les données structurées, ces mécanismes ne renvoient pas actuellement les lignes JSON enregistrées pour les types de modification. Appuyez-vous sur les comparaisons de modifications accessibles et sur le texte examiné, plutôt que d’attendre de ces opérations un export par catégorie.

Utilisation et interprétation #

Le taux de modification et la distance de modification calculent leurs réponses sans dépenses liées aux LLM. Les mesures exécutées avec succès font l’objet d’une comptabilisation d’utilisation distincte ; un coût de modèle nul ne garantit donc pas la gratuité de la mesure. Coûts explique le périmètre de comptabilisation ; Résultats explique les réponses null et la couverture.