Comparer les modèles de traduction
Menez des essais de traduction dans les mêmes conditions, conservez ces conditions et comparez la qualité, le coût et les résultats manquants pour un cas d’usage défini.
Deux modèles peuvent présenter des différences décisives pour un type de contenu, mais négligeables pour un autre. Une comparaison utile précise la décision à prendre : quelle configuration préserve les promesses d’un produit dans les langues qu’il prend en charge, à un coût et avec un taux d’échec acceptables ?
Définir la décision avant de choisir les exemples #
Précisez la catégorie de contenu, les langues cibles et l’exigence à respecter. « Quelle configuration préserve nos promesses au moment du paiement en français ? » peut donner un résultat exploitable. Un classement de modèles sans périmètre de contenu ni de langue ne permet pas de savoir où le résultat s’applique.
Choisissez des exemples courants et difficiles, représentatifs de la décision à prendre. Selon le contenu, incluez des textes d’interface courts, des termes ambigus, des passages de texte suivis, des variables de substitution et des promesses à fort enjeu. Prévoyez suffisamment d’exemples dans chaque langue pertinente pour en examiner les résultats séparément de la moyenne globale.
Conservez les révisions des sources, les langues cibles, le contexte et les traductions de référence disponibles. Une référence n’est utile que si son statut et le sens qu’elle doit transmettre sont connus ; une traduction existante ne fait pas automatiquement autorité. Levez ou signalez les ambiguïtés de la source avant de considérer une interprétation plausible comme un défaut du modèle.
Réservez un ensemble distinct d’exemples aux tests finaux, sans l’utiliser pour ajuster les prompts ou les consignes. Consignez les exclusions sous le critère concerné. Retirer un exemple délicat après avoir constaté un résultat défavorable modifie l’expérience ; l’absence d’éléments probants dans la source pour un cas admissible reste une lacune dans les preuves.
Conserver les conditions de la comparaison #
Enregistrez le texte exact de la configuration ou une révision que vous pourrez retrouver, plutôt que le seul nom d’un moteur de localisation dont la configuration peut changer. Pour chaque candidat, conservez les identifiants du modèle et du fournisseur, l’ordre des modèles de repli, le glossaire, les règles, la voix de marque, le contexte, les options de format, le pipeline, la politique de relecture et les définitions des critères.
Si l’hypothèse porte sur le modèle, maintenez les autres conditions constantes. Si elle porte sur les consignes, gardez le même modèle et modifiez le glossaire ou l’instruction concernée. Comparer un modèle sans configuration particulière à un moteur de localisation entièrement configuré peut répondre à une question opérationnelle, mais l’écart tient alors au contexte autant qu’au comportement du modèle.
Utilisez si possible un environnement de comparaison isolé, car les consignes partagées peuvent affecter d’autres systèmes qui y font appel. Examinez la configuration de référence, proposez la modification exacte, obtenez l’autorisation requise et vérifiez ce qui a été enregistré avant de lancer l’essai. Délégation aux agents aide à définir ces limites pour le travail assisté.
Mener des essais dans les mêmes conditions et conserver les tentatives infructueuses #
Soumettez la même révision de la source et la même langue cible à chaque configuration explicitement identifiée. Conservez la sortie exacte avec l’identifiant de l’essai. Consignez le modèle réellement utilisé et tout recours à un modèle de repli : la réussite d’un modèle de repli ne démontre pas les performances de traduction du modèle demandé.
Conservez dans l’historique les nouvelles tentatives et les sorties manquantes. Les remplacer discrètement par des résultats finalement obtenus donne l’impression qu’une configuration moins fiable a tout produit. Répétez une partie des essais menés dans les mêmes conditions pour examiner la variabilité ; figer un identifiant ne garantit pas une sortie déterministe.
Un agent peut soumettre les mêmes textes sélectionnés à deux configurations autorisées et rassembler les résultats. Précisez s’il peut uniquement lire les paramètres existants, soumettre des traductions ou aussi modifier la configuration partagée. Afficher deux sorties dans une conversation ne suffit pas à créer un historique d’expérience persistant ni un test A/B statistiquement valide.
Évaluer le sens selon les mêmes critères #
Dans la mesure du possible, définissez les critères avant de révéler quel modèle a produit chaque sortie. Pour une promesse de livraison, le délai, la précision concernant les jours ouvrés et l’engagement doivent être préservés. Une traduction fluide qui conserve le nombre, mais atténue arrivera en peut arriver, modifie la promesse.
Calibrez l’évaluateur à l’aide d’exemples dont l’évaluation a été tranchée séparément, comprenant des reformulations acceptables, des erreurs connues et des cas pour lesquels les preuves manquent. Distinguez l’identité de l’évaluateur de celle du générateur. Un modèle qui préfère sa propre sortie ne constitue pas une validation indépendante.
Demandez à des personnes qualifiées pour la relecture d’examiner les désaccords à fort enjeu sans connaître l’identité des modèles, lorsque c’est possible. Comparez les passages eux-mêmes et les exigences avant de comparer les moyennes. Valider les constats de qualité aide à trancher les défauts présumés, tandis que la conception des mesures définit l’admissibilité, les fausses alertes, les erreurs non détectées et les limites des réponses.
Présenter ensemble la qualité, la couverture et le coût #
Conservez une ligne pour chaque combinaison de révision de source sélectionnée, de langue, de candidat et d’essai, avec la sortie réelle, l’évaluation et le coût d’exécution connu. Indiquez les cas auxquels les critères s’appliquent, les évaluations terminées, les réponses au résultat déterminé et le travail sans réponse complète. Les cas dont l’applicabilité est inconnue doivent rester visibles plutôt que d’être exclus discrètement.
Calculez le taux de réussite parmi les réponses admissibles au résultat déterminé, et indiquez leur couverture par rapport à la population admissible définie. Les évaluations terminées dont le résultat reste indéterminé comptent comme terminées, mais ne fournissent aucun verdict de qualité étayé. L’historique des seuls résultats réussis ne permet pas de retrouver tous les éléments sélectionnés qui n’ont pas atteint l’étape d’évaluation.
Ventilez les résultats par langue et par groupe de contenu avant de les regrouper. Une moyenne élevée peut masquer un échec grave dans un groupe restreint, mais important. Précisez comment l’échantillon a été sélectionné ; un ensemble choisi pour ses échecs connus ne permet pas d’établir le taux général de défauts du trafic courant.
Utilisez le même périmètre de comptabilisation pour le coût et la latence. Incluez les nouvelles tentatives enregistrées, les recours aux modèles de repli et les étapes supplémentaires. Un coût manquant reste inconnu, et une sortie manquante correspond à un travail inachevé. La durée d’une requête diffère du temps total du workflow, qui comprend les attentes et la livraison. La distance d’édition ne permet pas d’établir le temps de travail humain économisé. Coûts explique ces périmètres d’enregistrement.
Conserver une décision qui pourra être réexaminée #
Le rapport doit relier une conclusion au périmètre défini aux preuves qui l’étayent : quel candidat a satisfait quelles exigences, sur quels contenus et dans quelles langues, avec quelle couverture et quel coût opérationnel. Si les résultats ne permettent pas de départager les candidats, conservez la configuration existante ou recueillez les preuves manquantes plutôt que de désigner artificiellement un gagnant.
Conservez les entrées, les sorties, les révisions de configuration, les critères, les identifiants des essais, les constats examinés et les exclusions. L’évaluation historique de Radar remplace les réponses sur l’intervalle qu’elle couvre ; elle ne peut donc pas conserver les deux versions d’une comparaison.
Avant toute modification autorisée en production, conservez la configuration de référence et un plan de retour arrière. Vérifiez à nouveau les exemples réservés aux tests finaux et assurez-vous que l’application reçoit la sortie attendue. Réexaminez la conclusion lorsque le contenu, les langues ou les exigences changent ; le résultat décrit les conditions testées, sans constituer une recommandation universelle de modèle.