Mesures personnalisées

Créez un contrôle adapté à votre contenu, choisissez son type de réponse et les événements concernés, puis vérifiez qu’il détecte bien le changement visé.

Une mesure personnalisée formule l’une de vos exigences de contenu de façon assez précise pour la tester. Elle peut vérifier si une traduction conserve une nuance restrictive, respecte une consigne de ton précise ou distingue bien deux concepts du produit. Le prompt indique au juge les différences à détecter et celles qui sont acceptables.

Cette page vous guide dans la création d’une mesure dans Radar → Mesures. Pour effectuer la relecture des traductions générées par vos moteurs de localisation, choisissez localization.completed comme déclencheur ; la page Relecture des traductions Lingo.dev explique comment sélectionner les moteurs et où consulter les réponses.

Formulez l’exigence sous forme de comparaison #

Supposons que le texte source indique qu’une fonctionnalité pourrait devenir disponible après approbation. Une traduction peut conserver les mots désignant la fonctionnalité et l’approbation tout en transformant cette possibilité en promesse. Pour être utile, une mesure doit examiner le lien entre ces éléments, et pas seulement vérifier la présence des termes.

Pour cette exigence, un prompt à réponse booléenne pourrait être formulé ainsi :

Exemple de prompt : préserver le degré de certitude et les conditions

Comparez les affirmations des textes source et cible. Renvoyez true lorsque le texte cible préserve le degré de certitude ou d’obligation du texte source, ses conditions et les liens entre ces éléments. Acceptez les variations naturelles de formulation et de structure des phrases.

Renvoyez false lorsqu’une possibilité devient une promesse, qu’une obligation change ou qu’une condition est supprimée ou rattachée à la mauvaise affirmation. Dans l’explication, relevez les formulations concernées dans les textes source et cible et proposez une correction lorsque les éléments disponibles le permettent.

Renvoyez null lorsque le texte ne contient aucune affirmation à laquelle le critère s’applique ou lorsque les éléments disponibles ne permettent pas d’étayer la comparaison. Précisez laquelle de ces situations s’applique et, le cas échéant, quels éléments manquent.

Le prompt pose une question ciblée et donne un motif permettant d’en contester la réponse. Il ne demande pas au juge d’inventer l’ensemble des critères de qualité de l’équipe.

Créez la mesure #

  1. Dans Radar → Mesures, créez une nouvelle mesure et saisissez le prompt.
  2. Donnez-lui un nom facile à reconnaître, comme Préserver le degré de certitude et les conditions.
  3. Sous Valeur, choisissez Réussite ou échec pour une réponse booléenne, ou 0 à 100 pour une échelle numérique dont vous pouvez définir les valeurs intermédiaires.
  4. Laissez l’option Autoriser les cas non applicables activée si le juge doit pouvoir répondre N/A, comme dans l’exemple de prompt. Si elle est désactivée, le juge doit indiquer une réussite, un échec ou un score.
  5. Choisissez le Déclencheur et les Langues. Par défaut, le formulaire sélectionne la localisation terminée ; modifiez ce choix si les éléments à examiner proviennent d’un autre type d’événement. Si vous ne sélectionnez aucune langue, toutes les langues cibles sont prises en compte.
  6. Sélectionnez Créer la mesure. La définition est enregistrée avec la condition d’événement sélectionnée activée. Dans l’onglet Général, affinez cette condition par langue source, moteur ou échantillon, ou ajoutez d’autres types d’événements avec Choisir un événement.

Le juge utilise le modèle d’évaluation géré par la plateforme. Le prompt de la mesure ne sélectionne pas le modèle de génération, ne modifie pas les consignes du moteur de localisation et n’ajoute pas de moyen d’importer du contenu. Configurez une source d’entrée prise en charge pour fournir les éléments à examiner.

Comprenez le contrat de réponse #

Type de réponseJugement renvoyé
boolpass : true, false ou null.
scorescore : une valeur finie comprise entre 0 et 100, ou null.

Les deux types incluent reasoning et suggestion, qui peuvent prendre la valeur null. Un jugement null n’est possible que si l’option Autoriser les cas non applicables est activée. La valeur null signifie que le juge n’a pas pu rendre le jugement demandé ; le motif peut être un cas non applicable, une incertitude ou un manque d’éléments. Un événement qui ne satisfait pas aux critères de sélection d’une condition est marqué N/A sans solliciter le juge, quel que soit ce paramètre. Un pourcentage représente une valeur sur l’échelle que vous avez définie, pas nécessairement la probabilité que la traduction soit correcte.

Dans l’historique des résultats, la réponse booléenne ou le score s’affiche au moyen de value, valueKind et notApplicable. Vérifiez l’indicateur N/A avant d’interpréter une valeur numérique de zéro. La page Résultats explique ce mode de présentation et la trace disponible du raisonnement du juge.

Testez la distinction établie par le prompt #

Après avoir enregistré la condition, générez un petit ensemble d’événements de test pris en charge, ou lancez une évaluation historique sur une période délimitée pour les événements existants. Incluez des erreurs connues et des traductions acceptables : un engagement modifié, une condition supprimée, un libellé sans rapport, un cas sans texte source et une reformulation naturelle qui préserve le sens.

Lisez la réponse en parallèle du texte concerné. Si le contrôle signale une reformulation acceptable, cherchez quelle consigne a provoqué cette fausse alerte. S’il ne détecte pas une condition supprimée, précisez l’exigence et testez-la sur des exemples qui n’ont pas servi à retravailler le prompt. Le guide de conception des mesures approfondit le calibrage et la présentation des résultats au-delà de cette configuration initiale.

Tenez à jour la définition et le périmètre #

Les mesures personnalisées appartiennent à l’organisation. Vous pouvez modifier leur prompt, leur nom, leur type de valeur et l’option Autoriser les cas non applicables dans l’onglet Général. Leurs conditions sélectionnent chaque type d’événement et en affinent le périmètre selon les langues, les langues sources, les moteurs et l’échantillon. La sélection des langues suit leur hiérarchie : fr sélectionne également fr-CA, tandis que fr-CA ne sélectionne pas fr-FR. Voir Sélection des événements.

Sauvegardez la définition précédente et les résultats utiles avant de modifier les critères d’échec. L’évaluation historique utilise la définition actuelle et remplace les réponses de l’intervalle concerné lorsqu’elle réévalue une période. Elle ne peut donc pas conserver les résultats des deux versions d’un critère pour les comparer. Supprimer la définition laisse les valeurs déjà enregistrées sans la définition associée ; désactiver la mesure est une action plus ciblée si vous souhaitez simplement arrêter les contrôles à venir.