Mediciones integradas

Descubre cómo funcionan las comprobaciones integradas de calidad y edición: sus datos de entrada, algoritmos, escalas de respuesta y comportamiento cuando faltan evidencias.

Las mediciones integradas responden a preguntas concretas sobre una traducción o una edición. La tasa de edición comprueba si dos textos son distintos. El cumplimiento del glosario comprueba si se han aplicado los términos pertinentes. Sus valores resultan útiles en conjunto siempre que cada uno conserve su propio significado; no constituyen una escala de calidad universal.

Activa estas comprobaciones en Mediciones; también puedes activar el cumplimiento del glosario y de las reglas para cada motor desde su pestaña Evaluadores, como se explica en Revisar traducciones de Lingo.dev. Esta página de referencia explica qué calcula cada comprobación y qué evidencias pueden respaldar su respuesta.

MQM #

MQM pide a un modelo que enumere los errores de la traducción y nada más: nunca le pide una puntuación. Para cada error, devuelve las palabras exactas que son incorrectas, una de las siete dimensiones de MQM Core (precisión, terminología, convenciones lingüísticas, estilo, convenciones del idioma, adecuación al público, diseño y marcado), un nivel de gravedad (neutro, leve, grave o crítico) y una línea que explica el problema. Cuando el evento identifica un motor de localización, el modelo también recibe las directrices actuales de ese motor: su voz de marca para el idioma, sus reglas y los términos del glosario que aparecen en el texto de origen, junto con el contexto de la solicitud.

MQM también evalúa los cambios en las traducciones: cada creación y actualización del texto de destino, independientemente de quién la haya realizado. En Zendesk y GitHub, una versión escrita por Lingo.dev, según la definición que se da más abajo para la tasa de edición, se evalúa conforme a la voz de marca, las reglas y los términos del glosario utilizados al traducirla, y la respuesta identifica el trabajo que la creó. Cualquier otra versión, como una edición de una persona, una reversión, una traducción de otra herramienta o un cambio de Crowdin, se evalúa sin las directrices de ningún motor. El campo isLingoRecord de la respuesta distingue ambos casos: false para esas otras versiones y true para todas las demás respuestas, incluidas las localizaciones completadas, de modo que Explorar pueda comparar las traducciones de Lingo.dev con el resto. Los cambios en las traducciones no identifican ningún motor, por lo que una condición de MQM limitada a motores devuelve N/A para esos cambios.

La puntuación se calcula mediante operaciones aritméticas a partir de esa lista. Se descartan los errores cuyas palabras no aparecen en la traducción. Cada error restante tiene un peso de 0 si es neutro, 1 si es leve, 5 si es grave o 25 si es crítico, y el total se normaliza por cada 100 palabras del texto de origen:

text
max(0, 100 − 100 × summed error weights / source word count)

100 significa que no hay errores. La misma fórmula permite obtener una puntuación por dimensión. Las palabras del texto de origen se cuentan en los valores de texto, no en sus claves; en los sistemas de escritura sin espacios, como el chino, el japonés, el coreano y el tailandés, se cuenta una palabra por carácter. Si el texto de origen no contiene palabras, se devuelve N/A sin consultar al modelo.

MQM se ejecuta en eventos de localización completados y en creaciones y actualizaciones del texto de destino. El cumplimiento del glosario y de las reglas se configura para eventos de localización completados. La tasa de edición, la distancia de edición y los patrones de edición se ejecutan en creaciones y actualizaciones del texto de destino. La plataforma define los tipos permitidos para las mediciones integradas; consulta la configuración actual de cada medición al activarla.

Tasa de edición #

La tasa de edición compara un cambio en el texto de destino con la versión anterior de la cadena: la creación o actualización del texto de destino más reciente que precede al cambio para la misma cadena e idioma o, si no hay ninguna registrada, el texto anterior al cambio incluido en el evento. Antes de comparar, elimina los espacios en blanco iniciales y finales y sustituye cada secuencia interna de espacios en blanco por un solo espacio. Una cadena sin versión anterior se considera sin cambios.

Cuando Lingo.dev escribe las traducciones, las tres mediciones de edición generan respuestas para cada versión escrita por Lingo.dev y para el cambio que una persona realiza sobre ella. Lingo.dev registra cada traducción que entrega: lo que su sincronización escribe en Zendesk o incorpora mediante confirmaciones de cambios en GitHub, y lo que devuelven la API, la CLI y la CI. Una versión se considera de Lingo.dev cuando la ha escrito el propio Lingo.dev, según su confirmación de cambios o la marca de tiempo asignada por Zendesk, o cuando contiene la última traducción que Lingo.dev entregó para esa cadena antes de esa versión, como una generada por la CLI. Cada traducción se cuenta una sola vez, en la primera versión que la contiene: una versión que la recupera tras el cambio de una persona se considera una reversión de esa persona.

En esos casos, una versión escrita por Lingo.dev siempre devuelve un resultado sin cambios: tasa de edición false y distancia de edición 0, mientras que los patrones de edición indican que no es aplicable. Una versión de una persona que sigue inmediatamente a una escrita por Lingo.dev se compara con esta: tasa de edición true, la distancia del cambio y sus patrones de edición. Si la persona mantuvo el texto de Lingo.dev, salvo por los espacios en blanco, el cambio devuelve un resultado no aplicable («La persona mantuvo el texto de Lingo.dev»); lo mismo ocurre si se modifica una versión que Lingo.dev no escribió o si no hay una versión registrada («Lingo.dev no escribió la versión anterior a esta»), incluidas las ediciones posteriores de una persona y su reversión al texto de Lingo.dev. Por tanto, cada false representa una traducción escrita por Lingo.dev, y cada true una que una persona cambió: la tasa de edición es el número de respuestas true dividido entre el número de respuestas false, por lo que 5 traducciones modificadas de 100 escritas por Lingo.dev dan un 5 %. Del mismo modo, la distancia media de edición por traducción escrita por Lingo.dev es la suma de las distancias de los cambios dividida entre el número de versiones de Lingo.dev.

En otras fuentes, como Crowdin, Lingo.dev no escribe traducciones, por lo que cada cambio se compara con la versión anterior, independientemente de quién haya creado una u otra.

RespuestaSignificado
trueLos textos normalizados son distintos; en Zendesk y GitHub, una persona modificó la versión de Lingo.dev.
falseLos textos normalizados coinciden, o la cadena no tiene una versión anterior fuera de Zendesk y GitHub; en Zendesk y GitHub, Lingo.dev escribió esta versión.
N/AEn Zendesk y GitHub, la persona mantuvo el texto de Lingo.dev, o Lingo.dev no escribió la versión anterior a esta.

Por ejemplo, al comparar Save changes y Save changes, el resultado es sin cambios. Al comparar Save changes y Apply changes, el resultado es editado. Ninguno de los dos resultados determina qué redacción es mejor.

Si existe el borrador, pero falta el campo de destino, la implementación compara el borrador con un texto de destino vacío. Comprueba las evidencias del evento antes de interpretar ese resultado como una edición humana completada. Para un conjunto de datos, presenta las comparaciones con cambios en relación con las comparaciones utilizables entre borrador y destino, y mantén visibles las comparaciones que faltan.

Distancia de edición #

La distancia de edición calcula la distancia de Levenshtein sobre los textos originales, sin normalizar: el número de inserciones, eliminaciones y sustituciones necesarias para convertir uno en el otro. Divide esa distancia entre la longitud del texto más largo y multiplica el resultado por 100.

Cero significa que los textos son idénticos. Un valor más alto indica más cambios en el texto. Dos cadenas vacías dan cero, al igual que una cadena sin versión anterior. Si falta el texto de destino, se trata como un texto vacío, igual que en la tasa de edición.

La implementación compara unidades de código UTF-16, no palabras ni caracteres tal como los percibe una persona. Omite las partes iniciales y finales que ambos textos tienen en común; si las partes que difieren siguen suponiendo más de unos 3.200 millones de pares de caracteres, como en el caso de dos textos sin relación de 57.000 caracteres cada uno, la respuesta es no aplicable, con el motivo «Los textos son demasiado largos para compararlos». Los espacios en blanco pueden contribuir a la distancia de edición aunque la tasa de edición considere que el par no ha cambiado. Además, un cambio de una unidad tiene más peso porcentual en una cadena corta que en una larga.

Utiliza las dos mediciones de edición juntas para distinguir entre pequeños cambios frecuentes y reescrituras extensas ocasionales. Fuera de Zendesk y GitHub, comprueba primero qué versiones se comparan: la versión anterior puede ser una edición previa y no la traducción entregada. Ninguna de las dos mediciones permite determinar los errores corregidos, el tiempo dedicado ni la mejora de calidad.

Al agregar los valores de distancia, indica el cálculo utilizado. Calcular la media de los porcentajes de cada par da el mismo peso a todos los pares; dividir la distancia total sin normalizar entre la longitud total de comparación da más peso a los textos largos. La respuesta de un evento individual no determina cuál de esas fórmulas usar.

Cumplimiento del glosario #

El cumplimiento del glosario contrasta los textos de origen y destino con los términos asociados al motor de localización en el momento de la evaluación. Requiere texto de origen, texto de destino y la identidad de un motor de localización. Selecciona los términos asociados cuyo idioma de destino coincide y cuyo texto de origen aparece en el contenido de origen, mediante una búsqueda de subcadenas que no distingue entre mayúsculas y minúsculas.

El evaluador analiza cada término proporcionado. Sus instrucciones permiten la flexión gramatical natural de las traducciones personalizadas, exigen que los términos no traducibles permanezcan sin cambios, permiten una traducción estándar cuando una indicación de contexto claramente no es aplicable y aceptan una de varias entradas contradictorias para un mismo término. Por tanto, una puntuación alta no demuestra que mantener definiciones contradictorias en el glosario sea una buena práctica.

La puntuación es:

text
returned findings marked applied / all returned term findings × 100

Este cálculo cuenta los resultados devueltos, no cada aparición de un término ni cada entrada del glosario de la organización. Los términos no aplicados se tienen en cuenta en la explicación. Si el evaluador no devuelve ningún resultado, la respuesta se completa sin una puntuación determinada.

La falta de campos obligatorios, la ausencia de un motor de localización coincidente o de términos asociados, o el hecho de que no se seleccione ningún término del texto de origen pueden dar lugar a N/A antes de que se ejecute el evaluador. Lee el motivo. Un término realmente irrelevante no necesita evaluación; un mensaje que debería haber contado con evidencias terminológicas sigue careciendo de ellas.

Esta medición consulta las directrices actuales, tanto para eventos en tiempo real como al procesar datos históricos. No reconstruye el glosario utilizado durante la generación. Solicitudes muestra el lote de origen y los intentos del modelo, sin una instantánea completa de las instrucciones enviadas al modelo ni del glosario. Guarda el contexto enviado y las definiciones de los términos pertinentes antes de comparar las evaluaciones de eventos históricos; después, utiliza Glosarios para los cambios terminológicos aceptados.

Cumplimiento de las reglas #

El cumplimiento de las reglas utiliza el texto de origen, el texto de destino, la identidad de un motor de localización y las reglas actualmente asociadas que se aplican al idioma de destino. El evaluador devuelve un resultado por cada regla proporcionada: cumplida, incumplida o nulo si la regla no es aplicable.

La puntuación es:

text
returned findings marked followed / returned non-null rule findings × 100

Se excluyen los resultados nulos de las reglas. Si todos los resultados devueltos son nulos, el evaluador puede finalizar sin una puntuación global. En cambio, la falta de evidencias del texto de origen, del texto de destino o del motor de localización puede impedir que el evaluador se ejecute. Ambos casos pueden aparecer como N/A, así que consulta el motivo y las evidencias de ejecución disponibles.

Lee la regla incumplida y las palabras a las que se refiere antes de cambiar la traducción. Puede que una regla ambigua o contradictoria necesite aclararse en Reglas. Al igual que con el cumplimiento del glosario, la evaluación de eventos históricos utiliza las directrices actualmente asociadas, no una instantánea del momento de la generación.

Patrones de edición #

El análisis de patrones de edición pide a un modelo que clasifique los cambios entre el borrador y el texto de destino. Puede asignar varias categorías a una misma comparación:

EtiquetaCambio descrito
registerFormalidad o cortesía.
word_choiceUna redacción distinta con el mismo significado.
terminologyUn término del producto o del ámbito especializado.
reorderingEl orden de las palabras o de las cláusulas.
grammarConcordancia, caso, tiempo verbal u otros aspectos gramaticales.
punctuationPuntuación o espaciado.
additionAdición de significado que el borrador omitía.
omissionEliminación de significado que el borrador añadía.
mistranslationUna interpretación distinta del significado.
formattingMarcadores de posición, marcado, uso de mayúsculas o números.

El clasificador omite las cadenas sin versión anterior y los textos que coinciden tras normalizar los espacios en blanco. Sus etiquetas describen posibles tipos de cambio, no defectos ni ahorros de tiempo confirmados de forma independiente.

Las vías de consulta actuales de la lista de resultados y del detalle filtran las respuestas para incluir solo las booleanas y las numéricas. Aunque el contrato del detalle incluye un campo answer para datos estructurados, esas vías no devuelven actualmente las filas JSON almacenadas de patrones de edición. Utiliza las comparaciones de edición accesibles y el texto examinado, en lugar de esperar que esas operaciones proporcionen una exportación por categorías.

Uso e interpretación #

La tasa de edición y la distancia de edición calculan sus respuestas sin incurrir en costes de LLM. La actividad de medición completada correctamente tiene una contabilización de uso independiente, por lo que un coste de modelo de cero no garantiza que la medición sea gratuita. Costes explica los límites de esa contabilización; Resultados explica las respuestas nulas y la cobertura.