Mediciones integradas
Conoce las comprobaciones integradas de calidad y edición: sus datos de entrada, algoritmos, escalas de respuesta y comportamiento cuando falta evidencia.
Las mediciones integradas responden preguntas específicas sobre una traducción o edición. La tasa de edición indica si dos textos difieren. El cumplimiento del glosario indica si se aplicaron los términos pertinentes. Estos valores resultan útiles en conjunto siempre que cada uno conserve su propio significado; no constituyen una escala universal de calidad.
Activa estas comprobaciones en Mediciones; también puedes activar el cumplimiento del glosario y de las reglas para cada motor desde su pestaña Evaluadores, como se explica en Revisar las traducciones de Lingo.dev. Esta referencia detalla qué calcula cada medición y qué evidencia puede respaldar su respuesta.
MQM #
MQM le pide a un modelo que enumere únicamente los errores de la traducción, nunca una puntuación. Para cada error, devuelve las palabras exactas que presentan el problema, una de las siete dimensiones de MQM Core (precisión, terminología, convenciones lingüísticas, estilo, convenciones del idioma, adecuación al público, diseño y marcado), un nivel de gravedad (neutro, menor, mayor o crítico) y una línea que explica qué está mal. Cuando el evento identifica un motor de localización, el modelo también recibe las pautas actuales de ese motor: su voz de marca para el idioma, sus reglas y los términos del glosario que usa el texto de origen, junto con el contexto de la solicitud.
MQM también evalúa los cambios en las traducciones: cada creación y actualización del texto de destino, sin importar quién la haya realizado. En Zendesk y GitHub, una versión escrita por Lingo.dev, según la definición que se presenta más adelante para la tasa de edición, se evalúa con la voz de marca, las reglas y los términos del glosario utilizados al traducirla, y la respuesta identifica el trabajo que la creó. Cualquier otra versión, como una edición de una persona, una reversión, una traducción de otra herramienta o un cambio en Crowdin, se evalúa sin las pautas de ningún motor. El campo isLingoRecord de la respuesta distingue ambos casos: false para esas otras versiones y true para todas las demás respuestas, incluidas las localizaciones completadas, de modo que Explorar pueda comparar las traducciones de Lingo.dev con el resto. Los cambios en las traducciones no identifican ningún motor, por lo que una condición de MQM limitada a motores devuelve N/A para esos cambios.
La puntuación se calcula a partir de esa lista. Se descartan los errores cuyas palabras no aparecen en la traducción. Cada error restante tiene un peso de 0 si es neutro, 1 si es menor, 5 si es mayor o 25 si es crítico, y el total se normaliza por cada 100 palabras del texto de origen:
max(0, 100 − 100 × summed error weights / source word count)100 significa que no hay errores. La misma fórmula calcula una puntuación por dimensión. Las palabras del texto de origen se cuentan en los valores de texto, no en sus claves; en los sistemas de escritura sin espacios, como el chino, el japonés, el coreano y el tailandés, se cuenta una palabra por carácter. Si el texto de origen no tiene palabras, la respuesta es N/A sin consultar al modelo.
MQM se ejecuta en eventos de localización completada y en creaciones y actualizaciones del texto de destino. El cumplimiento del glosario y de las reglas se configura para eventos de localización completada. La tasa de edición, la distancia de edición y los patrones de edición se ejecutan en creaciones y actualizaciones del texto de destino. La plataforma define los tipos permitidos para las mediciones integradas; revisa la configuración actual de cada medición al activarla.
Tasa de edición #
La tasa de edición compara un cambio en el texto de destino con la versión anterior de la cadena: la creación o actualización previa más reciente del texto de destino para la misma cadena e idioma o, si no hay ninguna registrada, el texto anterior al cambio que incluye el evento. Antes de comparar, elimina los espacios en blanco al inicio y al final, y reemplaza cada secuencia interna de espacios en blanco por un solo espacio. Una cadena sin una versión anterior se considera sin cambios.
Cuando Lingo.dev escribe las traducciones directamente, las tres mediciones de edición dan una respuesta para cada versión escrita por Lingo.dev y para el cambio que una persona le hace. Lingo.dev registra cada traducción que entrega: lo que su sincronización escribe en Zendesk o guarda mediante un commit en GitHub, y lo que devuelven la API, la CLI y la CI. Una versión se considera de Lingo.dev cuando la escribió el propio Lingo.dev, lo que se reconoce por su commit o por la marca de tiempo que Zendesk le asignó, o cuando contiene la última traducción que Lingo.dev entregó para la cadena antes de esa versión, como una producida por la CLI. Cada traducción se cuenta una sola vez, en la primera versión que la contiene: si una versión la restaura después del cambio de una persona, se considera una reversión de esa persona.
En esos casos, una versión escrita por Lingo.dev siempre se considera sin cambios: tasa de edición false y distancia de edición 0, mientras que la respuesta de patrones de edición es no aplicable. Una versión de una persona que sigue inmediatamente a una escrita por Lingo.dev se compara con esta: tasa de edición true, la distancia del cambio y sus patrones de edición. Si la persona conservó el texto de Lingo.dev, salvo por los espacios en blanco, la respuesta para el cambio es no aplicable (“La persona conservó el texto de Lingo.dev”); lo mismo ocurre con un cambio en una versión que Lingo.dev no escribió o cuando no hay una versión registrada (“Lingo.dev no escribió la versión anterior a esta”), incluidas las ediciones posteriores de una persona y su reversión al texto de Lingo.dev. Por lo tanto, cada false representa una traducción escrita por Lingo.dev, y cada true, una que una persona modificó: la tasa de edición es la cantidad de respuestas true dividida entre la cantidad de respuestas false, de modo que 5 traducciones modificadas de 100 escritas por Lingo.dev dan un 5%. Del mismo modo, la distancia de edición promedio por traducción escrita por Lingo.dev es la suma de las distancias de los cambios dividida entre el número de versiones de Lingo.dev.
En otras fuentes, como Crowdin, Lingo.dev no escribe traducciones, por lo que cada cambio se compara con la versión anterior, sin importar quién haya creado una u otra.
| Respuesta | Significado |
|---|---|
true | Los textos normalizados difieren; en Zendesk y GitHub, una persona modificó la versión de Lingo.dev. |
false | Los textos normalizados coinciden, o la cadena no tiene una versión anterior fuera de Zendesk y GitHub; en Zendesk y GitHub, Lingo.dev escribió esta versión. |
| N/A | En Zendesk y GitHub, la persona conservó el texto de Lingo.dev, o Lingo.dev no escribió la versión anterior a esta. |
Por ejemplo, Save changes y Save changes se consideran sin cambios al compararlos. Save changes y Apply changes se consideran editados. Ninguno de los resultados determina qué redacción es mejor.
Si existe el borrador, pero falta el campo de destino, la implementación compara el borrador con un texto de destino vacío. Revisa la evidencia del evento antes de interpretarlo como una edición humana completada. Para una colección, informa la proporción de comparaciones con cambios respecto del total de comparaciones utilizables entre borrador y destino, y mantén visibles las comparaciones faltantes.
Distancia de edición #
La distancia de edición calcula la distancia de Levenshtein entre los textos originales, sin normalizar: la cantidad de inserciones, eliminaciones y sustituciones necesarias para convertir uno en el otro. Divide esa distancia entre la longitud del texto más largo y multiplica el resultado por 100.
Cero significa que los textos son idénticos. Un valor más alto indica más cambios en el texto. Dos cadenas vacías dan cero, al igual que una cadena sin una versión anterior. Si falta el texto de destino, se trata como vacío, igual que en la tasa de edición.
La implementación compara unidades de código UTF-16, no palabras ni caracteres tal como los percibe una persona. Omite el inicio y el final que ambos textos tienen en común; si las partes que difieren aún generan más de unos 3.200 millones de pares de caracteres, como dos textos no relacionados de 57.000 caracteres cada uno, la respuesta es no aplicable, con el motivo “Los textos son demasiado largos para compararlos”. Los espacios en blanco pueden contribuir a la distancia de edición incluso cuando la tasa de edición considera que el par no tiene cambios. Un cambio de una unidad también tiene un mayor impacto porcentual en una cadena corta que en una larga.
Usa las dos mediciones de edición juntas para distinguir los cambios pequeños y frecuentes de las reescrituras extensas y ocasionales. Fuera de Zendesk y GitHub, verifica primero qué versiones se comparan: la versión anterior puede ser una edición previa y no la traducción entregada. Ninguna de las mediciones permite determinar los errores corregidos, el tiempo invertido ni la mejora de calidad.
Al agregar las distancias, especifica el cálculo utilizado. Promediar los porcentajes de cada par da el mismo peso a todos los pares; dividir la distancia total sin normalizar entre la longitud total de las comparaciones da más peso a los textos largos. La respuesta de un evento individual no determina cuál de esas fórmulas usar.
Cumplimiento del glosario #
El cumplimiento del glosario compara los textos de origen y destino con los términos asociados al motor de localización en el momento de la evaluación. Requiere el texto de origen, el texto de destino y la identidad de un motor de localización. Selecciona los términos asociados cuyo idioma de destino coincide y cuyo texto de origen aparece en el texto de origen de la traducción, mediante una comprobación de subcadenas que no distingue entre mayúsculas y minúsculas.
El evaluador analiza cada término proporcionado. Sus instrucciones permiten la flexión gramatical natural de las traducciones personalizadas, exigen que los términos no traducibles permanezcan sin cambios, permiten una traducción estándar cuando una indicación de contexto claramente no aplica y aceptan una de varias entradas contradictorias para el mismo término. Por lo tanto, una puntuación alta no demuestra que tener definiciones contradictorias en el glosario sea una buena práctica.
La puntuación es:
returned findings marked applied / all returned term findings × 100Este cálculo cuenta los hallazgos devueltos, no cada aparición de un término ni cada entrada del glosario de la organización. Los términos no aplicados se incluyen en la explicación. Si el evaluador no devuelve hallazgos, la respuesta completada no tiene una puntuación definida.
La falta de campos obligatorios, de un motor de localización coincidente o de términos asociados, así como la ausencia de términos seleccionados del texto de origen, pueden dar como resultado N/A antes de que se ejecute un evaluador. Lee el motivo. Un término que realmente no es pertinente no necesita evaluación; un mensaje que debería contar con evidencia terminológica sigue careciendo de esa evidencia.
Esta medición consulta las pautas actuales, tanto en eventos en tiempo real como al procesar eventos históricos. No reconstruye el glosario utilizado durante la generación. Solicitudes muestra el lote de origen y los intentos del modelo, sin una captura completa de las instrucciones ni del glosario. Guarda el contexto enviado y las definiciones de los términos pertinentes antes de comparar evaluaciones de eventos históricos; luego usa Glosarios para los cambios terminológicos aceptados.
Cumplimiento de las reglas #
El cumplimiento de las reglas utiliza el texto de origen, el texto de destino, la identidad de un motor de localización y las reglas actuales asociadas que aplican al idioma de destino. El evaluador devuelve un hallazgo por cada regla proporcionada: cumplida, incumplida o nulo cuando la regla no aplica.
La puntuación es:
returned findings marked followed / returned non-null rule findings × 100Se excluyen los hallazgos de reglas con valor nulo. Si todos los hallazgos devueltos son nulos, el evaluador puede completar la evaluación sin una puntuación general. En cambio, la falta de evidencia del texto de origen, del texto de destino o del motor de localización puede impedir que se ejecute el evaluador. Ambos casos pueden aparecer como N/A, así que revisa el motivo y la evidencia de ejecución disponible.
Lee la regla incumplida y las palabras a las que se refiere antes de cambiar la traducción. Puede ser necesario aclarar una regla ambigua o contradictoria en Reglas. Al igual que el cumplimiento del glosario, la evaluación de eventos históricos utiliza las pautas actuales asociadas, no una captura de las pautas del momento de la generación.
Patrones de edición #
El análisis de patrones de edición le pide a un modelo que clasifique los cambios entre el borrador y el texto de destino. Puede asignar varias categorías a una misma comparación:
| Etiqueta | Cambio descrito |
|---|---|
register | Formalidad o cortesía. |
word_choice | Redacción diferente con el mismo significado. |
terminology | Un término del producto o del área de especialidad. |
reordering | Orden de las palabras o de las cláusulas. |
grammar | Concordancia, caso, tiempo verbal u otro aspecto gramatical. |
punctuation | Puntuación o espaciado. |
addition | Adición de significado que el borrador omitía. |
omission | Eliminación de significado que el borrador añadía. |
mistranslation | Cambio en la interpretación del significado. |
formatting | Marcadores de posición, marcado, uso de mayúsculas o números. |
El clasificador omite las cadenas sin una versión anterior y los textos que coinciden después de normalizar los espacios en blanco. Sus etiquetas describen posibles tipos de cambios, no defectos ni ahorros de tiempo confirmados de forma independiente.
Las rutas actuales de lectura de la lista de resultados y del detalle incluyen solo respuestas booleanas y numéricas. Aunque el contrato de detalle tiene un campo answer para datos estructurados, esas rutas no devuelven actualmente las filas JSON almacenadas de patrones de edición. Usa las comparaciones de edición disponibles y el texto examinado, en lugar de esperar una exportación por categorías de esas operaciones.
Uso e interpretación #
La tasa de edición y la distancia de edición calculan respuestas sin generar gastos de LLM. La actividad de medición realizada con éxito se contabiliza por separado, así que un costo de modelo de cero no garantiza que la medición sea gratuita. Costos explica los límites de esa contabilización; Resultados explica las respuestas nulas y la cobertura.