Evaluadores de IA

Las evaluaciones de IA son verificaciones automatizadas que analizan las traducciones generadas por tus motores de localización. En el panel se llaman mediciones y se encuentran en Radar → Mediciones. Ambos nombres se refieren a lo mismo. Una medición responde una pregunta sobre una traducción —si cumple o no, o qué puntuación obtiene de 0 a 100— y explica su respuesta. Las evaluaciones se ejecutan de forma asíncrona una vez que se completa la traducción: nunca la bloquean, la modifican ni deciden si se publica.

Cómo funciona#

Cada localización completada se registra en Radar como un evento localization.completed, que incluye los textos de origen y destino, ambos idiomas, el motor y el contexto de la solicitud. Cada medición que se ejecuta sobre ese tipo de evento y cuyas condiciones lo seleccionan pone una evaluación en cola. La respuesta se guarda junto con el evento que examinó.

No existe un recurso de evaluador independiente para las traducciones del motor. Las mismas mediciones también pueden examinar cambios en las traducciones recopilados de fuentes conectadas, como un repositorio de GitHub o un Centro de ayuda de Zendesk. De ahí obtienen su evidencia las mediciones de edición que se describen más adelante.

Radar → Mediciones muestra Tus mediciones e Integradas, junto con los tipos de eventos sobre los que se ejecuta cada una, su tipo de valor, sus idiomas, la cantidad de eventos que ha medido y si está activada.

Mediciones integradas#

Lingo.dev define qué calcula cada medición integrada y sobre qué tipos de eventos puede ejecutarse. Tu organización decide si se ejecuta y qué eventos selecciona.

Para activar una medición, ábrela en Radar → Mediciones, elige los idiomas, los idiomas de origen, los motores y la muestra que debe examinar, activa Habilitada y selecciona Guardar cambios. Las mediciones integradas no se pueden editar ni eliminar. El cumplimiento del glosario y el cumplimiento de reglas también se pueden activar por motor; consulta Activar evaluaciones para un motor.

Glossary adherence #

Comprueba si la traducción aplicó los términos del glosario que utiliza el motor. Selecciona los términos cuyo idioma de destino coincide y cuyo texto de origen aparece en el texto fuente, y el evaluador devuelve un resultado para cada uno. Las traducciones personalizadas (por ejemplo, "Deploy" → "Bereitstellen") pueden variar su forma gramatical de manera natural; los términos no traducibles (por ejemplo, "OAuth") deben permanecer sin cambios. Cuando las entradas de un mismo término entran en conflicto, basta con seguir una de ellas.

La puntuación es la proporción de resultados devueltos que se marcaron como aplicados. Cuando ningún término del glosario se aplica al texto de origen, la respuesta es N/A.

Rule adherence #

Evalúa de forma independiente cada regla que el motor aplica al idioma de destino: cumplida, no cumplida o no aplicable. Si el motor aplica tres reglas, el evaluador devuelve tres resultados, cada uno con su propio razonamiento.

La puntuación es la proporción de reglas cumplidas entre las que eran aplicables. Se excluyen las reglas que no se aplican al contenido; por ejemplo, una regla de tratamiento formal en una traducción que solo contiene el nombre de un producto. Si no se aplica ninguna regla, no hay puntuación.

Ambas comprobaciones leen los términos del glosario y las reglas del motor tal como están al ejecutarse, no una copia de los que el motor usó al generar la traducción.

MQM#

MQM le pide a un modelo que enumere los errores de la traducción, nunca que le asigne una puntuación. Cada error indica las palabras exactas que están mal, una de las siete dimensiones de MQM Core —precisión, terminología, convenciones lingüísticas, estilo, convenciones del idioma, adecuación al público, diseño y marcado—, un nivel de gravedad y una línea que explica el problema. Cuando el evento especifica un motor, el modelo también ve la voz de marca del motor para ese idioma, sus reglas y los términos del glosario que usa el texto de origen.

La puntuación se calcula mediante operaciones aritméticas sobre esa lista. Se descartan los errores cuyas palabras no aparecen en la traducción. Cada error restante tiene un peso de 0 si es neutro, 1 si es menor, 5 si es grave o 25 si es crítico, y el total se normaliza por cada 100 palabras del texto de origen:

max(0, 100 − 100 × summed error weights / source word count)

100 significa que no hay errores, y la misma fórmula permite obtener una puntuación por dimensión. En los sistemas de escritura sin espacios, como el chino, el japonés, el coreano y el tailandés, se cuenta una palabra por carácter. Si el texto de origen no tiene palabras, la respuesta es N/A.

Tasa de edición, distancia de edición y patrones de edición#

Estas tres mediciones comparan un cambio en la traducción con la versión anterior de la cadena. Cuando Lingo.dev escribe las traducciones —en una sincronización del Centro de ayuda de Zendesk o en un repositorio donde la GitHub App registra las traducciones o la CLI las envía—, generan una respuesta por cada versión que escribió Lingo.dev y otra por el cambio que una persona hace en ella:

• Una versión escrita por Lingo.dev devuelve un resultado sin cambios: tasa de edición false y distancia de edición 0.
• Una versión editada por una persona que sigue inmediatamente a una escrita por Lingo.dev se compara con esta: tasa de edición true, distancia del cambio y sus patrones de edición.
• Las ediciones posteriores de una persona, una reversión al texto de Lingo.dev y un cambio que conserva el texto de Lingo.dev salvo por los espacios en blanco devuelven N/A.

Por lo tanto, cada false representa una traducción escrita por Lingo.dev, y cada true, una que modificó una persona. Si se modificaron 5 de las 100 traducciones escritas por Lingo.dev, la tasa de edición es del 5%.

La tasa de edición elimina los espacios en blanco al principio y al final y agrupa los espacios en blanco internos antes de comparar, por lo que Save changes y Save changes se consideran sin cambios. La distancia de edición es la distancia de Levenshtein entre los textos originales —inserciones, eliminaciones y sustituciones— dividida por la longitud del texto más largo y multiplicada por 100. Los textos demasiado largos para comparar devuelven N/A. Consulta ambas mediciones juntas para distinguir las pequeñas correcciones frecuentes de las reescrituras ocasionales. Los patrones de edición clasifican un cambio en categorías como registro, elección de palabras, terminología, reordenamiento, gramática, puntuación, adición, omisión, traducción incorrecta y formato.

Ninguna de las tres determina qué redacción es mejor ni mide el tiempo dedicado.

Activar evaluaciones para un motor #

La pestaña Reviewers del motor tiene dos secciones:

Evaluación automática tiene un interruptor para Cumplimiento del glosario y otro para Cumplimiento de reglas. Al activar un interruptor, se agrega el motor a esa medición integrada y se activa la medición; al desactivarlo, se quita el motor. La configuración de idiomas y de muestra de la medición no cambia. Cuando una medición integrada se ejecuta sobre todos los motores, cada motor muestra su interruptor activado. Al desactivar un motor, se guarda la lista de los demás motores actuales, por lo que los motores creados después no se evalúan hasta que se agregan. Si tu plan factura las evaluaciones según el uso, la sección muestra Facturado por ejecución junto con la tarifa.

Sugerencias contiene los interruptores de Sugerencias del motor, que actúan sobre los resultados bajos de las mediciones personalizadas en lugar de generarlos.

MQM y las mediciones personalizadas no están en esta pestaña. Activa MQM en Radar y selecciona los motores para una medición personalizada en su condición.

Mediciones personalizadas #

Una medición personalizada define uno de tus propios requisitos de calidad con suficiente claridad para comprobarlo: conservar una salvedad, cumplir un requisito de voz o mantener diferenciados dos conceptos del producto. Pertenece a la organización.

Las respuestas de Aprobación o rechazo se agregan como tasas de aprobación: 75% significa que se aprobaron 3 de cada 4 traducciones que recibieron una respuesta. Las respuestas de 0 a 100 se agregan como promedios. Un porcentaje es un valor en la escala que define tu instrucción, no la probabilidad de que la traducción sea correcta.

Elige qué traducciones se evalúan#

Cada condición, al igual que la configuración de cada medición integrada, limita los eventos de su tipo:

Selecciona Guardar cambios para aplicarlos. La selección de idiomas sigue la jerarquía de idiomas, no una coincidencia exacta del texto: fr también selecciona fr-CA, y fr-CA no selecciona fr-FR. Una solicitud registrada sin motor no cumple una condición limitada por motor.

El muestreo se decide por evento y medición, por lo que, al volver a evaluarse, el mismo evento sigue incluido o excluido de una muestra determinada. En un lote pequeño, la proporción muestreada puede diferir de la configurada.

Un evento de un tipo seleccionado que no cumple con un selector también recibe una respuesta: N/A, con una explicación que comienza con "Condición no cumplida" e identifica el selector. No se factura. Excluye estas respuestas del denominador al calcular la calidad, pero tenlas en cuenta al explicar qué proporción de tu volumen de traducciones se revisó.

Habilitada activa o desactiva todas las condiciones de una medición a la vez. Al desactivarla, se detienen las revisiones futuras; el trabajo que ya está en cola aún puede completarse.

Redactar instrucciones #

Las instrucciones son la base de una medición personalizada. Le indican al evaluador exactamente qué verificar. Redáctalas como un criterio específico y comprobable.

Buenas instrucciones#

Aprobado o reprobado:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

De 0 a 100:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

Qué hace que una instrucción sea buena#

• Criterios específicos - define exactamente qué significan aprobado y reprobado, o qué representan 0 y 100
• Resultados observables - el evaluador debe poder decidir a partir del texto, sin adivinar la intención
• Un aspecto por medición - divide las verificaciones de calidad que abarcan varios aspectos en mediciones separadas
• Cuándo abstenerse - con Permitir no aplicable activado, por ejemplo, cuando el criterio no corresponda, para no confundir una traducción a la que no se aplica el criterio con una que carece de evidencia

Prueba una medición nueva con traducciones que puedas examinar, tanto con errores conocidos como con paráfrasis aceptables, antes de confiar en sus respuestas para un gran número de traducciones.

Respuestas N/A#

Con Permitir no aplicable activado, el evaluador puede responder N/A en lugar de emitir un veredicto o una puntuación; por ejemplo, al verificar el tratamiento formal en un idioma que no distingue entre trato formal e informal. Las respuestas N/A se excluyen de los promedios y las tasas de aprobación; no reducen ni inflan las puntuaciones. Con esta opción desactivada, el evaluador debe indicar aprobado, reprobado o una puntuación. Un evento que no cumple una condición recibe una respuesta N/A sin consultar al evaluador, independientemente de esta configuración.

Lee las respuestas#

Cada respuesta incluye una explicación y, cuando la evidencia lo justifica, una corrección sugerida.

• Radar → Eventos → Mediciones muestra todas las respuestas. Filtra por Medición y Valor, y luego abre una respuesta para ver su valor, explicación, sugerencia y la solicitud enviada al evaluador.
• La pestaña Registros del motor tiene una columna Revisión para cada solicitud de traducción. Calcula el promedio de la respuesta más reciente de cada medición personalizada, contando un aprobado como 100 y un reprobado como 0, y excluyendo N/A. Muestra N/A cuando todas las respuestas fueron N/A y Sin revisar cuando no hay ninguna. El cumplimiento del glosario, el cumplimiento de las reglas y MQM no forman parte de esta columna.
• Informes presenta gráficos de las respuestas a lo largo del tiempo en la descripción general de Radar y en Explorar.

Un resultado reprobado o una puntuación baja en una medición personalizada de una traducción del motor también puede activar las Sugerencias del motor. La respuesta en sí no modifica la traducción.

Revisa las traducciones que ya tienes#

Una medición activada hoy examina los eventos nuevos. Para aplicarla a eventos ya recopilados, abre su pestaña Procesamiento retroactivo y elige un intervalo. El procesamiento retroactivo puede medir solo los eventos que aún no tienen respuesta o volver a medir el intervalo, lo que reemplaza las respuestas anteriores de la medición en ese intervalo. Guarda las definiciones y los resultados que necesites para comparar antes de volver a medir.

Modelo de revisión#

No eliges el modelo de evaluación. El cumplimiento del glosario, el cumplimiento de las reglas, MQM, los patrones de edición y las mediciones personalizadas se evalúan con un modelo definido por la plataforma, que se configura por separado de los modelos que usa el motor para traducir. La tasa de edición y la distancia de edición se calculan sin un modelo.

Modifica o elimina una medición#

Edita las instrucciones, el nombre, el tipo de valor o la opción Permitir no aplicable de una medición personalizada en su pestaña General, junto con sus condiciones, y selecciona Guardar cambios. Cambiar el criterio cambia el significado de las respuestas posteriores, así que conserva la definición anterior junto con los resultados que usarás como referencia para comparar.

Al eliminar una medición personalizada, se borran su definición y sus condiciones. Sus respuestas registradas se conservan, se muestran como Medición desconocida y dejan de contar en la columna Revisión del motor. Para detener las revisiones futuras sin perder la definición, desactívala en lugar de eliminarla.

Administrar mediciones mediante MCP#

Si usas el MCP server de Lingo.dev, tu asistente de programación con IA puede listar, crear y actualizar mediciones, establecer sus condiciones, activarlas o desactivarlas y leer sus respuestas:

"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."

"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

Siguientes pasos#