Évaluateurs IA

Max PrilutskiyPDG et cofondateur14 min de lecture

Les évaluations IA sont des contrôles automatisés qui examinent les traductions produites par vos moteurs de localisation. Dans le tableau de bord, elles sont appelées mesures et se trouvent dans Radar → Mesures. Les deux termes désignent la même chose. Une mesure répond à une question sur une traduction — par une réussite ou un échec, ou par un score de 0 à 100 — et explique sa réponse. Les évaluations s’exécutent de manière asynchrone une fois la traduction terminée : elles ne la bloquent jamais, ne la modifient pas et ne déterminent pas si elle sera publiée.

Fonctionnement#

Chaque localisation terminée est enregistrée dans Radar sous la forme d’un événement localization.completed, qui contient les textes source et cible, les deux langues, le moteur et le contexte de la requête. Chaque mesure qui s’exécute sur ce type d’événement et dont les conditions sélectionnent cet événement met une évaluation en file d’attente. La réponse est enregistrée avec l’événement examiné.

Il n’existe pas de ressource d’évaluateur distincte pour les traductions des moteurs. Les mêmes mesures peuvent aussi examiner les modifications de traduction recueillies auprès de sources connectées, comme un dépôt GitHub ou un centre d’aide Zendesk : c’est de là que proviennent les données utilisées par les mesures de modification présentées ci-dessous.

Radar → Mesures s’ouvre sur l’onglet Intégrées ; Vos mesures regroupe celles créées par votre organisation. Chaque liste précise les types d’événements sur lesquels une mesure s’exécute, son type de valeur, ses langues, le nombre d’événements qu’elle a mesurés et si elle est activée.

Mesures intégrées#

Lingo.dev définit ce que chaque mesure intégrée calcule et les types d’événements sur lesquels elle peut s’exécuter. Votre organisation décide de l’activer ou non et choisit les événements qu’elle sélectionne.

MesureCe qu’elle indiqueS’exécute sur
Respect du glossaireProportion des termes pertinents du glossaire utilisés dans la traductionLocalisations terminées
Respect des règlesProportion des règles applicables respectées par la traductionLocalisations terminées
MQMScore de 0 à 100 calculé à partir des erreurs répertoriées par un modèleLocalisations terminées
Taux de modificationIndique si une personne a modifié la traductionCréations et mises à jour de traductions
Distance de modificationPart du texte modifiée, en pourcentageCréations et mises à jour de traductions
Schémas de modificationNature des modifications apportées lors d’un changementCréations et mises à jour de traductions

Pour activer une mesure, ouvrez-la dans Radar → Mesures, choisissez les langues, les langues source, les moteurs et l’échantillon à examiner, activez l’option Activé, puis sélectionnez Enregistrer les modifications. Les mesures intégrées ne peuvent être ni modifiées ni supprimées. Le respect du glossaire et le respect des règles peuvent aussi être activés par moteur : voir Activer les évaluations pour un moteur.

Respect du glossaire #

Vérifie si la traduction respecte les termes du glossaire appliqués par le moteur. La mesure sélectionne les termes dont la langue cible correspond et dont le texte source figure dans le texte à traduire, puis le modèle évaluateur renvoie un résultat pour chacun. Les traductions personnalisées (par exemple, "Deploy" → "Bereitstellen") peuvent prendre les formes fléchies naturelles, les termes non traduisibles (par exemple, "OAuth") doivent rester inchangés et, lorsque plusieurs entrées pour un même terme se contredisent, le respect de l’une d’elles suffit.

Le score correspond à la proportion de résultats renvoyés indiquant que le terme a été respecté. Lorsqu’aucun terme du glossaire ne s’applique au texte source, la réponse est N/A.

Respect des règles #

Évalue séparément chaque règle appliquée par le moteur pour la langue cible : respectée, non respectée ou non applicable. Si le moteur applique trois règles, le modèle évaluateur renvoie trois résultats, chacun accompagné de son propre raisonnement.

Les règles s’appelaient auparavant instructions

Le tableau de bord, l’interrupteur de l’onglet Évaluateurs et Radar utilisent tous le terme « règles ». L’API REST expose toujours chaque règle à l’adresse /instructions.

Le score correspond à la proportion de règles respectées parmi les règles applicables. Une règle qui ne s’applique pas au contenu — par exemple, une règle de vouvoiement pour une traduction contenant uniquement un nom de produit — est exclue du calcul. Si aucune règle ne s’applique, aucun score n’est attribué.

Les deux vérifications lisent les termes du glossaire et les règles du moteur tels qu’ils sont au moment de leur exécution, et non un instantané de ceux que le moteur a utilisés pour générer la traduction.

MQM#

MQM demande à un modèle de répertorier les erreurs de la traduction, jamais de lui attribuer un score. Chaque erreur précise les mots exacts qui posent problème, l’une des sept dimensions du noyau MQM — exactitude, terminologie, conventions linguistiques, style, conventions propres à la langue, adéquation au public, conception et balisage —, un niveau de gravité et une ligne décrivant le problème. Lorsque l’événement mentionne un moteur, le modèle voit aussi sa voix de marque pour la langue concernée, ses règles et les termes du glossaire utilisés dans le texte source.

Le score est calculé arithmétiquement à partir de cette liste. Les erreurs dont les mots n’apparaissent pas dans la traduction sont écartées. Chaque erreur restante reçoit un poids selon sa gravité : neutre 0, mineure 1, majeure 5 ou critique 25. Le total est ensuite normalisé pour 100 mots du texte source :

text
max(0, 100 − 100 × summed error weights / source word count)

Un score de 100 signifie qu’il n’y a aucune erreur, et la même formule donne un score par dimension. Pour les écritures sans espaces, comme le chinois, le japonais, le coréen et le thaï, chaque caractère compte pour un mot. Un texte source sans mots donne une réponse N/A.

Taux de modification, distance de modification et schémas de modification#

Ces trois mesures comparent une traduction modifiée à la version précédente de la chaîne. Lorsque Lingo.dev écrit lui-même les traductions — lors d’une synchronisation du centre d’aide Zendesk, ou dans un dépôt où la GitHub App crée les commits de traduction ou la CLI envoie les traductions —, elles donnent une réponse pour chaque version écrite par Lingo.dev et une autre pour la modification qu’une personne y apporte :

  • Une version écrite par Lingo.dev est considérée comme inchangée : taux de modification false et distance de modification de 0.
  • Une version modifiée par une personne qui suit directement une version écrite par Lingo.dev est comparée à cette dernière : taux de modification true, distance de la modification et types de modification.
  • Les modifications ultérieures d’une personne, un retour au texte de Lingo.dev et un changement qui ne modifie que les espaces du texte de Lingo.dev donnent une réponse N/A.

Chaque false représente donc une traduction écrite par Lingo.dev, et chaque true une traduction modifiée par une personne. Sur 100 traductions écrites par Lingo.dev, 5 traductions modifiées correspondent à un taux de modification de 5 %.

Dans Explorer, Valeur booléenne avec Moyenne donne directement ce taux : chaque traduction rédigée par Lingo.dev compte une seule fois, comme réussie si quelqu’un l’a modifiée et comme échouée si personne ne l’a fait. La modification n’est pas comptée une seconde fois. Elle est rattachée à la période de la traduction modifiée : le taux d’une semaine récente peut donc augmenter à mesure que les traductions de cette semaine sont modifiées.

Le Taux de modification supprime les espaces en début et en fin de texte et réduit les suites d’espaces internes à un seul espace avant la comparaison. Ainsi, Save changes et Save changes sont considérés comme inchangés. La Distance de modification correspond à la distance de Levenshtein entre les textes originaux — insertions, suppressions et substitutions — divisée par la longueur du texte le plus long et multipliée par 100. Les textes trop longs pour être comparés donnent une réponse N/A. Consultez les deux mesures ensemble pour distinguer les petites corrections fréquentes des réécritures occasionnelles. Les Schémas de modification classent un changement dans des catégories telles que le registre, le choix des mots, la terminologie, la réorganisation, la grammaire, la ponctuation, l’ajout, l’omission, l’erreur de traduction et la mise en forme.

Aucune de ces trois mesures ne détermine quelle formulation est meilleure ni ne mesure le temps passé.

Activer les évaluations pour un moteur #

L'onglet Évaluateurs du moteur comporte deux sections :

Évaluation automatique comporte un interrupteur pour Respect du glossaire et un autre pour Respect des règles. Activer un interrupteur ajoute le moteur à la mesure intégrée correspondante et active cette mesure ; le désactiver retire le moteur. Les paramètres de langue et d’échantillon de la mesure restent inchangés. Lorsqu’une mesure intégrée s’exécute sur tous les moteurs, l’interrupteur apparaît activé pour chacun. Désactiver un moteur enregistre la liste des autres moteurs existants : un moteur créé par la suite n’est donc pas évalué tant qu’il n’est pas ajouté à cette liste. Lorsque votre forfait facture les évaluations à l’usage, la section affiche Facturé par exécution avec le tarif.

Suggestions regroupe les interrupteurs des Suggestions du moteur, qui réagissent aux résultats faibles des mesures personnalisées plutôt que de les produire.

MQM et les mesures personnalisées ne figurent pas dans cet onglet. Activez MQM dans Radar et sélectionnez les moteurs à évaluer dans la condition de la mesure personnalisée.

Mesures personnalisées #

Une mesure personnalisée formule l’une de vos exigences de qualité de façon suffisamment précise pour la vérifier : préserver une nuance, respecter une exigence de voix ou maintenir la distinction entre deux concepts du produit. Elle appartient à l’organisation.

1

Rédigez l’instruction

Dans Radar → Mesures, sélectionnez Nouvelle mesure et saisissez l’instruction, c’est-à-dire le critère appliqué par le modèle évaluateur. Voir Rédiger des instructions.

2

Nommez-la et choisissez la réponse

Donnez-lui un nom facilement identifiable. Sous Valeur, choisissez Réussite ou échec pour un verdict binaire, ou 0 à 100 pour une échelle dont vous pouvez définir les valeurs intermédiaires. Laissez Autoriser non applicable activé si le modèle évaluateur doit pouvoir répondre N/A.

3

Choisissez le déclencheur et les langues

Par défaut, le formulaire utilise les localisations terminées comme Déclencheur, ce qui permet d’évaluer les traductions produites par vos moteurs. Si aucune langue n’est sélectionnée, toutes les langues cibles sont prises en compte.

4

Créez-la, puis affinez-la

Sélectionnez Créer une mesure. La mesure est enregistrée avec cette condition activée. Dans l’onglet Général, affinez la condition selon la langue source, le moteur ou l’échantillon, ou ajoutez d’autres types d’événements en sélectionnant Choisir un événement sous S’exécute sur. Si aucune intégration connectée n’envoie les types d’événements sur lesquels la mesure s’exécute, l’onglet le signale sous S’exécute sur et propose un lien vers Paramètres → Intégrations.

Les réponses Réussite ou échec sont agrégées sous forme de taux de réussite : 75 % signifie que 3 des 4 traductions ayant reçu une réponse ont satisfait au critère. Les réponses 0 à 100 sont agrégées sous forme de moyennes. Un pourcentage est une valeur sur l’échelle définie par votre instruction, et non la probabilité que la traduction soit correcte.

Choisir les traductions à évaluer#

Chaque condition, tout comme les paramètres de chaque mesure intégrée, restreint la sélection des événements de son type :

SélecteurSélectionne
LanguesLangues cibles. Toute langue les sélectionne toutes
Langues sourceLangues source. Toute langue source les sélectionne toutes
MoteursMoteurs dont les traductions sont évaluées. Tout moteur inclut les moteurs créés ultérieurement
ÉchantillonChaque événement, ou 50, 25, 20, 10, 5 ou 1 % des événements retenus par les autres sélecteurs

Sélectionnez Enregistrer les modifications pour les appliquer. La sélection des langues suit leur hiérarchie plutôt qu’une correspondance textuelle exacte : fr sélectionne aussi fr-CA, et fr-CA ne sélectionne pas fr-FR. Une requête enregistrée sans moteur ne satisfait pas une condition limitée à certains moteurs.

L’échantillonnage est déterminé pour chaque événement et chaque mesure. Ainsi, un même événement reste inclus ou exclu d’un échantillon donné lorsqu’il est évalué à nouveau. Sur un petit lot, la proportion échantillonnée peut différer de la proportion configurée.

Un événement d’un type sélectionné qui ne satisfait pas un sélecteur reçoit tout de même une réponse : N/A, accompagnée d’une justification qui commence par « Condition non remplie » et indique le nom du sélecteur. Il n’est pas facturé. Excluez ces réponses du dénominateur utilisé pour calculer la qualité, mais tenez-en compte pour expliquer quelle part de votre volume de traduction a été évaluée.

Activé permet d’activer ou de désactiver toutes les conditions d’une mesure à la fois. La désactivation arrête les évaluations à venir ; les tâches déjà en file d’attente peuvent toutefois aller à leur terme.

Rédiger des instructions #

Le prompt est au cœur d’une mesure personnalisée. Il indique au modèle d’évaluation exactement ce qu’il doit vérifier. Formulez-le sous la forme d’un critère précis et vérifiable.

Bonnes instructions#

Réussite ou échec :

text
Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

De 0 à 100 :

text
Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

Ce qui fait une bonne instruction#

  • Critères précis - définissez exactement ce que signifient la réussite et l’échec, ou ce que représentent 0 et 100
  • Résultats observables - le modèle d’évaluation doit pouvoir se prononcer à la lecture du texte, sans avoir à deviner l’intention
  • Un seul aspect par mesure - décomposez les contrôles de qualité portant sur plusieurs dimensions en mesures distinctes
  • Quand s’abstenir - lorsque Autoriser « Sans objet » est activé, précisez quand le critère ne s’applique pas, pour ne pas confondre une traduction non concernée avec une traduction pour laquelle les éléments nécessaires à l’évaluation manquent

Testez une nouvelle mesure sur des traductions que vous pouvez examiner — aussi bien des erreurs connues que des reformulations acceptables — avant de vous fier à ses réponses pour un grand nombre de traductions.

Réponses N/A#

Lorsque Autoriser « Sans objet » est activé, le modèle d’évaluation peut répondre N/A plutôt que de donner un verdict ou un score — par exemple, pour un contrôle du vouvoiement dans une langue qui ne distingue pas le tutoiement du vouvoiement. Les réponses N/A sont exclues des moyennes et des taux de réussite ; elles ne font ni baisser ni augmenter les scores. Lorsque cette option est désactivée, le modèle d’évaluation doit indiquer une réussite, un échec ou un score. Un événement qui ne satisfait pas une condition reçoit la réponse N/A sans solliciter le modèle d’évaluation, quel que soit ce paramètre.

Consulter les réponses#

Chaque réponse comprend une justification et, lorsque les éléments disponibles le permettent, une proposition de correction.

  • Radar → Journaux → Mesures répertorie toutes les réponses. Filtrez par Mesure et Valeur, puis ouvrez une réponse pour consulter sa valeur, le raisonnement, la suggestion et la requête de l'évaluateur.
  • L’onglet Journaux du moteur comporte une colonne Relecture pour chaque requête de traduction. Elle calcule la moyenne des dernières réponses de chaque mesure personnalisée, en attribuant 100 à une réussite et 0 à un échec, et en excluant les réponses N/A. Elle affiche N/A lorsque toutes les réponses sont N/A et Non relu lorsqu’il n’y en a aucune. Le respect du glossaire, le respect des règles et MQM ne sont pas pris en compte dans cette colonne.
  • Les Rapports présentent l’évolution des réponses dans le temps sous forme de graphiques, dans la vue d’ensemble de Radar et dans Explore.

Un échec ou un score faible obtenu par une mesure personnalisée sur une traduction du moteur peut aussi déclencher des Suggestions du moteur. La réponse elle-même ne modifie pas la traduction.

Évaluer vos traductions existantes#

Une mesure activée aujourd’hui examine les nouveaux événements. Pour l’appliquer aux événements déjà collectés, ouvrez son onglet Remplissage rétroactif et choisissez un intervalle. L’indicateur Mesurés ci-dessus affiche le nombre d’événements auxquels la mesure a apporté une réponse sur l’ensemble de la période enregistrée, au total et pour chaque origine, par exemple « 1 180 sur 7 600 » pour un dépôt. Ce nombre ne change pas lorsque vous modifiez l’intervalle. Sous les dates, l’onglet décompte les événements de l’intervalle par source — chaque dépôt GitHub, centre d’aide Zendesk, projet Crowdin et Lingo.dev — et par type d’événement couvert par les conditions activées de la mesure. Vous pouvez ainsi voir ce que le remplissage rétroactif lira. Le remplissage rétroactif peut mesurer uniquement les événements qui n’ont pas encore de réponse, ou mesurer à nouveau les événements de l’intervalle, ce qui remplace les réponses précédentes de la mesure sur cet intervalle. Avant de lancer une nouvelle mesure, enregistrez les définitions et les résultats dont vous avez besoin pour effectuer une comparaison.

Modèle d’évaluation#

Vous ne choisissez pas le modèle d’évaluation. Le respect du glossaire, le respect des règles, MQM, les schémas de modification et les mesures personnalisées sont évalués par un modèle choisi par la plateforme, configuré séparément des modèles utilisés par le moteur pour traduire. Le taux de modification et la distance d’édition sont calculés sans modèle.

Modifier ou supprimer une mesure#

Dans l’onglet Général d’une mesure personnalisée, modifiez son prompt, son nom, son type de valeur ou l’option Autoriser « Sans objet », ainsi que ses conditions, puis sélectionnez Enregistrer les modifications. Modifier le critère change la signification des réponses à venir : conservez donc la définition précédente avec les résultats qui serviront de référence à vos comparaisons.

Supprimer une mesure personnalisée supprime sa définition et ses conditions. Ses réponses enregistrées sont conservées et affichées sous Mesure inconnue, mais ne sont plus prises en compte dans la colonne Relecture du moteur. Pour arrêter les évaluations à venir sans perdre la définition, désactivez plutôt la mesure.

Gérer les mesures via MCP#

Si vous utilisez le MCP server de Lingo.dev, votre assistant de programmation IA peut répertorier, créer et mettre à jour les mesures, définir leurs conditions, les activer ou les désactiver, et lire leurs réponses :

text
"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."
text
"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

Étapes suivantes#