Diseña una medición de calidad de traducción

Convierte un requisito lingüístico en un criterio que puedas poner a prueba, calibra sus respuestas e informa la frecuencia y el alcance de los problemas que detecta.

Una puntuación de calidad es útil cuando alguien puede explicar qué la haría cambiar. Si una condición importante desaparece de una traducción, la medición debe detectar esa pérdida. Si quien traduce expresa la misma idea de forma más natural, debe reconocer esa diferencia como aceptable. Diseñar una medición consiste en hacer explícitas esas distinciones para poder ponerlas a prueba.

Esta guía recorre la definición, la calibración y la presentación de resultados de un requisito. Se aplica tanto a traducciones de un proveedor como de un proceso interno o de Lingo.dev. El resultado es una medición que otra persona puede ejecutar e interpretar en las mismas condiciones, no una cifra cuyo significado dependa de que esté presente quien la creó.

Define el cambio de significado que importa #

Empieza por el efecto que debe lograr el contenido. Una instrucción debe llevar a la acción correcta. Una afirmación debe conservar su fuerza y sus salvedades. Un término de producto debe identificar el mismo concepto en otro idioma. «Traducción precisa» expresa el objetivo, pero deja implícitas estas distinciones.

Considera la certeza y las condiciones. En puede llegar a estar disponible después de la aprobación, la posibilidad, el requisito de aprobación y la relación entre ambos aportan significado. Traducirlo como una promesa incondicional cambia la afirmación, aunque la traducción conserve las palabras que expresan disponibilidad y aprobación.

Un criterio para evaluar esa distinción podría ser:

Ejemplo de criterio: conservar las afirmaciones y las condiciones

Compara la afirmación del texto de origen con la del texto de destino. Verifica si el texto de destino conserva:

  • El grado de certeza u obligación.
  • Cada condición que limita cuándo se aplica la afirmación.
  • La relación entre la condición y la afirmación.

Acepta distintas formulaciones y estructuras de oración siempre que conserven estos significados. Ante un posible error, identifica los pasajes de origen y de destino y explica qué compromiso o condición cambió. Si el texto disponible no permite sustentar la comparación, explica qué falta.

El criterio le da al evaluador algo observable que examinar. También ofrece a quien realiza la revisión una base para discrepar. Una solicitud vaga como «verificar la precisión» deja que tanto el evaluador como quien revisa apliquen su propio estándar.

Elige un alcance adecuado para la siguiente decisión. Encontrar afirmaciones que necesitan una revisión más detallada exige una detección confiable y hallazgos comprensibles. Comparar proveedores también requiere una muestra común y una forma de resumir los hallazgos. Decidir si se publica un elemento específico exige considerar los requisitos que le corresponden. La misma verificación puede contribuir a cada decisión sin tomar las tres por sí sola.

Selecciona el texto que permita responder la pregunta #

Define la unidad que vas a medir. Para el criterio anterior, usa una afirmación de origen y su traducción correspondiente, con suficiente contexto para interpretar la condición. Mantén juntos el ID del contenido, la versión de origen, la versión de destino y el idioma. Una traducción correcta de una versión anterior del texto de origen puede parecer incorrecta al compararla con la nueva versión.

Selecciona contenido que incluya la distinción que estás examinando. Una etiqueta de navegación sin ninguna afirmación queda fuera de este criterio. Contarla como un resultado satisfactorio mejoraría la tasa sin demostrar nada sobre la conservación de la certeza o las condiciones.

La falta de evidencia es un problema distinto. Si una afirmación seleccionada no tiene un texto de origen asociado, sigue formando parte del trabajo que se evalúa, pero aún no se puede hacer la comparación. Mantén visible esa falta de información. Cuando no esté claro si el criterio se aplica, registra la incertidumbre en lugar de excluir el elemento sin indicarlo.

Proporciona contexto que pueda cambiar la respuesta. La definición de un término o una regla del producto pueden resolver una ambigüedad; el contenido no relacionado quizá solo distraiga. Una revisión ortográfica del texto de destino necesita menos evidencia que una comparación de significado entre el origen y el destino. La pregunta determina qué recopilar.

Dale un significado claro a cada respuesta #

Para el ejemplo de conservación de afirmaciones, bastan tres respuestas:

RespuestaSignificado
ConservadoEl texto de destino conserva la certeza, las obligaciones y las condiciones relevantes del texto de origen, aunque use formulaciones equivalentes.
ModificadoUna parte identificable de ese significado cambió o desapareció. El hallazgo señala los pasajes afectados.
IndeterminadoEl evaluador completó la comparación, pero la evidencia no le permitió sustentar ninguna de las dos conclusiones. Su explicación identifica la incertidumbre.

Estas son etiquetas metodológicas. Adáptalas al formato de respuesta de la herramienta que uses; no constituyen un esquema de API. Por ejemplo, una medición booleana personalizada de Radar puede devolver verdadero, falso o una respuesta nula con una justificación. Examina esa justificación, porque una respuesta nula puede tener más de una causa.

Usa una escala numérica cuando los niveles intermedios expresen una diferencia útil. Define esos niveles en términos que quien realiza la revisión pueda reconocer. Un valor de 80 debe significar algo más preciso que «bastante bueno». Si la gravedad importa, defínela según la consecuencia del error y mantén visibles los hallazgos graves al combinar los resultados. Un promedio alto puede coexistir con un cambio inaceptable en un pasaje crítico.

Una solicitud fallida no produce una respuesta lingüística completa. Distingue ese caso de uno en el que el evaluador completó la tarea y devolvió una respuesta indeterminada. Esa distinción define si la siguiente acción es recuperar la ejecución o resolver la ambigüedad de la evidencia.

Prueba la medición con casos que ya conoces #

Prepara un conjunto de calibración con contenido que el equipo esté autorizado a evaluar. Incluye errores claros, buenas traducciones, paráfrasis naturales y casos cuyas respuestas dependan del contexto. Incluye también contenido fuera del alcance del criterio para poner a prueba tanto la selección como el juicio.

Pide a personas calificadas para la revisión que establezcan las respuestas esperadas y sus razones. Los desacuerdos aportan información. Si el texto de origen admite dos interpretaciones, aclara el significado previsto o conserva la incertidumbre. Si el estándar es claro, pero el evaluador rechaza una paráfrasis aceptable, la medición necesita mejoras.

Examina por separado dos tipos de errores:

  • Falsas alarmas: traducciones aceptables marcadas como errores. Consumen atención durante la revisión y pueden llevar a cambios innecesarios.
  • Errores no detectados: problemas reales que la medición no logra identificar. Sus consecuencias dependen del tipo de significado perdido, no solo de la frecuencia con que ocurren.

Prueba la medición ajustada con ejemplos que no hayas usado para redactar sus instrucciones. Cuando un LLM haga la evaluación, conserva el modelo, las instrucciones, la configuración y la variación observada entre ejecuciones repetidas. Que coincida con sus propias respuestas anteriores no demuestra que coincida con el estándar del equipo.

La calibración debe dejar un registro concreto de dónde funciona la verificación y dónde necesita más evidencia. Un método probado con un tipo de contenido y un par de idiomas es un punto de partida útil, no una conclusión sobre todas las traducciones que produce la empresa.

Informa el problema y el trabajo examinado #

Una vez que la verificación resulte útil en casos conocidos, aplícala a una colección o muestra definida. Registra cómo se eligió esa muestra. Una muestra aleatoria permite sacar conclusiones distintas de las que permite una muestra seleccionada porque otra verificación ya señaló riesgos en las traducciones. Esta última puede ayudar a encontrar problemas sin estimar su frecuencia en todo el contenido.

Considera este resultado a modo de ejemplo para 100 pares de traducción seleccionados que cumplen los requisitos de evaluación:

ResultadoPares
Significado conservado72
Significado modificado8
Completado, pero indeterminado10
Sin evaluación completada10

Se completaron las evaluaciones del 90% de los pares seleccionados. Se obtuvieron respuestas concluyentes para el 80%. De esas 80 respuestas, 8 identificaron un cambio, lo que da una tasa de problemas detectados del 10% entre las respuestas concluyentes. Los 20 pares restantes no permiten establecer si el significado se conservó o se modificó.

Las tres cifras importan. Los 72 significados conservados de 80 respuestas concluyentes dan una tasa de resultados satisfactorios del 90% entre las respuestas concluyentes. Informar solo que «el 90% fue satisfactorio» ocultaría las 10 respuestas completadas pero indeterminadas y los 10 pares sin una evaluación completada. La tasa de problemas detectados del 10% sigue siendo un resultado de esta medición sobre esta selección; interpretarla como una tasa de errores más general requiere una muestra adecuada y evidencia sobre falsas alarmas y errores no detectados.

Desglosa los resultados por los idiomas y tipos de contenido que podrían cambiar la decisión. Muestra tanto las cantidades como las tasas. Un idioma con pocas respuestas concluyentes requiere investigación antes de quedar diluido en una cifra global tranquilizadora. Conserva ejemplos de los problemas recurrentes para que el informe explique qué mejoraría realmente el equipo.

Mantén comparaciones válidas después de un cambio #

Guarda el criterio y su configuración junto con la evidencia utilizada para la comparación. Si cambian las instrucciones, el modelo, la regla de selección o el requisito de origen, prueba la nueva definición antes de tratar sus resultados como una continuación de los anteriores.

Para comparar dos mediciones, evalúa el mismo texto guardado con ambas definiciones. Para comparar dos enfoques de traducción, mantén constantes los criterios y las condiciones relevantes. De lo contrario, un cambio en la puntuación puede reflejar una pregunta nueva o contenido más fácil, en lugar de mejores traducciones.

Conserva una comparación antes de volver a evaluar el historial

La evaluación histórica de Radar reemplaza las respuestas anteriores de la medición y el intervalo seleccionados. Antes de usarla, guarda las definiciones y los resultados anteriores que necesites para comparar. Una nueva ejecución no conserva ambos lados del experimento.

La medición está lista para usarse cuando otra persona puede seleccionar el texto previsto, aportar la evidencia, explicar cada respuesta y reproducir el cálculo informado. Usa mediciones de eventos o la puntuación local con la CLI para implementar la verificación. Para un flujo de trabajo externo continuo, Mide las traducciones de tu proceso aborda la recopilación y la recuperación; Valida los hallazgos de calidad desarrolla el siguiente paso: decidir si un problema informado es real.