Diseña una medición de la calidad de las traducciones

Convierte un requisito lingüístico en un criterio comprobable, calibra sus respuestas e informa de la frecuencia y el alcance de los problemas que detecta.

Una puntuación de calidad es útil cuando alguien puede explicar qué haría que cambiara. Si una condición importante desaparece de una traducción, la medición debe detectar esa pérdida. Si quien traduce expresa la misma idea de forma más natural, debe reconocer la diferencia como aceptable. Diseñar una medición consiste en definir esas distinciones con suficiente claridad para poder ponerlas a prueba.

Esta guía recorre la definición, la calibración y la presentación de resultados de un requisito. Se aplica tanto si las traducciones proceden de un proveedor como de un proceso interno o de Lingo.dev. El resultado es una medición que otra persona puede ejecutar e interpretar en las mismas condiciones, en lugar de una cifra cuyo significado solo se entiende si está presente quien la creó.

Define qué cambio de significado importa #

Empieza por el efecto que se quiere lograr con el contenido. Una instrucción debe llevar a la acción correcta. Una afirmación debe conservar su grado de contundencia y sus matices. Un término de producto debe identificar el mismo concepto en otro idioma. «Traducción precisa» expresa la aspiración, pero deja implícitas estas distinciones.

Ten en cuenta el grado de certeza y las condiciones. En puede llegar a estar disponible tras la aprobación, la posibilidad, el requisito de aprobación y la relación entre ambos aportan significado. Traducirlo como una promesa incondicional cambia la afirmación, aunque la traducción conserve las palabras relativas a la disponibilidad y la aprobación.

Un criterio para esa distinción podría formularse así:

Ejemplo de criterio: conservar las afirmaciones y las condiciones

Compara la afirmación del texto de origen con la del texto de destino. Comprueba si el texto de destino conserva:

  • El grado de certeza u obligación.
  • Cada condición que limita cuándo se aplica la afirmación.
  • La relación entre la condición y la afirmación.

Admite distintas formulaciones y estructuras de frase siempre que conserven estos significados. Si sospechas que hay un error, identifica los fragmentos de origen y destino y explica qué compromiso o condición ha cambiado. Si el texto disponible no basta para fundamentar la comparación, explica qué falta.

El criterio ofrece a quien evalúa algo observable que examinar. También da a quien realiza la revisión una base para discrepar. Una petición vaga de «comprobar la precisión» deja que ambas partes definan su propio estándar.

Elige un alcance adecuado para la siguiente decisión. Localizar afirmaciones que necesitan una revisión más detallada exige una detección fiable y resultados comprensibles. Comparar proveedores también requiere una muestra común y una forma de resumir los resultados. Decidir si se publica un elemento concreto exige tener en cuenta los requisitos que se le aplican. Una misma comprobación puede contribuir a las tres decisiones sin tomarlas por sí sola.

Selecciona el texto que permita responder a la pregunta #

Define la unidad que vas a medir. Para el criterio anterior, utiliza una afirmación de origen y su correspondiente traducción, con suficiente contexto para interpretar la condición. Mantén juntos el ID del contenido, la versión del texto de origen, la versión del texto de destino y el idioma. Una traducción correcta de una versión anterior del texto de origen puede parecer incorrecta al compararla con la nueva.

Selecciona contenido que incluya la distinción que quieres examinar. Una etiqueta de navegación sin ninguna afirmación queda fuera de este criterio. Contabilizarla como un caso satisfactorio mejoraría la tasa sin aportar información sobre la conservación de la certeza o de las condiciones.

La falta de pruebas es un problema distinto. Si una afirmación seleccionada no tiene un texto de origen asociado, sigue formando parte del trabajo que se evalúa, pero aún no se puede realizar la comparación. Mantén visible esa carencia. Cuando no esté claro si el criterio se aplica, registra la incertidumbre en lugar de descartar el elemento sin indicarlo.

Aporta el contexto que pueda cambiar la respuesta. La definición de un término o una regla del producto pueden resolver una ambigüedad; el contenido no relacionado quizá solo distraiga. Una comprobación ortográfica limitada al texto de destino necesita menos pruebas que una comparación del significado entre origen y destino. La pregunta determina qué hay que recopilar.

Da un significado claro a cada respuesta #

Para el ejemplo de conservación de afirmaciones, bastan tres respuestas:

RespuestaSignificado
ConservadoEl texto de destino conserva el grado de certeza, las obligaciones y las condiciones pertinentes del texto de origen, aunque utilice formulaciones equivalentes.
AlteradoUna parte identificable de ese significado ha cambiado o desaparecido. El resultado señala los fragmentos afectados.
IndeterminadoEl evaluador completó la comparación, pero las pruebas disponibles no permitieron fundamentar ninguna de las dos conclusiones. Su explicación señala la incertidumbre.

Estas etiquetas son metodológicas. Adáptalas al formato de respuesta de la herramienta que utilices; no constituyen un esquema de API. Por ejemplo, una medición booleana personalizada de Radar puede devolver true, false o una respuesta null con una justificación. Examina esa justificación, porque null puede responder a más de una causa.

Utiliza una escala numérica cuando los niveles intermedios expresen una diferencia útil. Define esos niveles en términos que quien realice la revisión pueda reconocer. Un valor de 80 debe significar algo más preciso que «bastante bien». Si la gravedad importa, defínela según las consecuencias del error y mantén visibles los problemas graves al combinar los resultados. Una media alta puede coexistir con un cambio inaceptable en un fragmento crítico.

Una solicitud fallida no llega a producir una respuesta lingüística. Distínguela de una evaluación que sí se completó y devolvió una respuesta indeterminada. Esa diferencia determina si el siguiente paso es restablecer la ejecución o resolver la ambigüedad de las pruebas.

Prueba la medición con casos ya conocidos #

Prepara un conjunto de calibración con contenido que el equipo esté autorizado a evaluar. Incluye errores claros, buenas traducciones, paráfrasis naturales y casos cuyas respuestas dependan del contexto. Añade contenido que quede fuera del alcance del criterio para poner a prueba tanto la selección como el juicio.

Pide a personas cualificadas para la revisión que establezcan las respuestas esperadas y expliquen sus motivos. Los desacuerdos aportan información. Si el texto de origen admite dos interpretaciones, aclara el significado previsto o conserva la incertidumbre. Si el estándar está claro, pero el evaluador rechaza una paráfrasis aceptable, hay que mejorar la medición.

Examina por separado dos tipos de fallo:

  • Falsas alarmas: traducciones aceptables señaladas como errores. Consumen recursos de revisión y pueden propiciar cambios innecesarios.
  • Errores no detectados: problemas reales que la medición no logra identificar. Sus consecuencias dependen del tipo de significado que se pierde, no solo de la frecuencia con la que se producen.

Prueba la medición revisada con ejemplos que no hayas utilizado para redactar sus instrucciones. Cuando un LLM realice la evaluación, conserva el modelo, las instrucciones, la configuración y la variación observada entre ejecuciones repetidas. Que coincida con sus propias respuestas anteriores no demuestra que coincida con el estándar del equipo.

La calibración debe dejar constancia clara de dónde funciona la comprobación y dónde necesita más pruebas. Un método probado con un tipo de contenido y un par de idiomas es un punto de partida útil, no una conclusión sobre todas las traducciones que produce la empresa.

Informa del problema y del trabajo examinado #

Una vez que la comprobación resulte útil en casos conocidos, aplícala a un conjunto o una muestra definidos. Registra cómo se eligió la muestra. Una muestra aleatoria permite extraer conclusiones distintas de las de una muestra seleccionada porque otra comprobación ya había señalado las traducciones como arriesgadas. Esta última puede ayudar a detectar problemas sin estimar su frecuencia en todo el contenido.

Considera este resultado de ejemplo para 100 pares de traducción seleccionados que cumplen los criterios de inclusión:

ResultadoPares
Significado conservado72
Significado alterado8
Evaluación completada, pero indeterminada10
Sin evaluación completada10

Se completaron las evaluaciones del 90 % de los pares seleccionados. Se obtuvieron respuestas determinadas para el 80 %. De esas 80 respuestas, 8 identificaron un cambio, lo que supone una tasa de problemas detectados del 10 % entre las respuestas determinadas. Los 20 pares restantes no permiten establecer si el significado se conservó o se alteró.

Las tres cifras importan. Los 72 significados conservados de las 80 respuestas determinadas dan una tasa de casos satisfactorios del 90 % entre las respuestas determinadas. Informar únicamente de que «el 90 % superó la comprobación» ocultaría las 10 respuestas completadas pero indeterminadas y los 10 pares sin una evaluación completada. Además, la tasa de problemas detectados del 10 % sigue siendo un resultado de esta medición sobre esta selección; interpretarla como una tasa de error más general exige una muestra adecuada y pruebas sobre las falsas alarmas y los errores no detectados.

Desglosa los resultados por los idiomas y tipos de contenido que puedan cambiar la decisión. Muestra los recuentos además de las tasas. Si un idioma tiene pocas respuestas determinadas, hay que investigarlo antes de que quede diluido en una cifra global tranquilizadora. Conserva ejemplos de los problemas recurrentes para que el informe explique qué mejoraría realmente el equipo.

Mantén la validez de las comparaciones tras un cambio #

Guarda el criterio y su configuración junto con las pruebas utilizadas para la comparación. Si cambian las instrucciones, el modelo, la regla de inclusión o el requisito del texto de origen, prueba la nueva definición antes de tratar sus resultados como una continuación de los anteriores.

Para comparar dos mediciones, evalúa el mismo texto guardado con ambas definiciones. Para comparar dos enfoques de traducción, mantén constantes los criterios y las condiciones pertinentes. De lo contrario, un cambio en la puntuación puede reflejar una pregunta nueva o un contenido más fácil, en lugar de una mejora de las traducciones.

Conserva los datos de comparación antes de volver a evaluar el historial

La evaluación histórica de Radar sustituye las respuestas anteriores de la medición y el intervalo seleccionados. Antes de utilizarla, guarda las definiciones y los resultados anteriores que necesites para comparar. Una nueva ejecución no conserva ambos lados del experimento.

La medición está lista para usarse cuando otra persona puede seleccionar el texto previsto, aportar las pruebas, explicar cada respuesta y reproducir el cálculo presentado en el informe. Utiliza las mediciones de eventos o la puntuación local con CLI para implementar la comprobación. Para un flujo de trabajo externo continuo, Medir las traducciones de tu proceso aborda la recopilación y la recuperación; Validar los hallazgos de calidad desarrolla la siguiente tarea: decidir si un problema señalado es real.