Evaluadores de IA

Las evaluaciones de IA son comprobaciones automáticas que analizan las traducciones que generan tus motores de localización. En el panel se llaman mediciones y se encuentran en Radar → Mediciones. Ambos nombres se refieren a lo mismo. Una medición responde a una pregunta sobre una traducción —con un aprobado o un suspenso, o una puntuación de 0 a 100— y explica su respuesta. Las evaluaciones se ejecutan de forma asíncrona una vez completada la traducción: nunca la bloquean, la modifican ni deciden si se publica.

Cómo funciona#

Cada localización completada se registra en Radar como un evento localization.completed, que incluye los textos de origen y destino, ambos idiomas, el motor y el contexto de la solicitud. Cada medición que se ejecuta sobre ese tipo de evento y cuyas condiciones lo seleccionan pone en cola una evaluación. La respuesta se guarda junto con el evento examinado.

No existe un recurso de evaluador independiente para las traducciones de los motores. Las mismas mediciones también pueden examinar cambios en las traducciones recopilados de fuentes conectadas, como un repositorio de GitHub o un Centro de ayuda de Zendesk. De ahí obtienen sus datos las mediciones de ediciones que se describen a continuación.

Radar → Mediciones muestra Tus mediciones e Integradas, junto con los tipos de eventos sobre los que se ejecuta cada una, su tipo de valor, sus idiomas, cuántos eventos ha medido y si está activada.

Mediciones integradas#

Lingo.dev define qué calcula cada medición integrada y sobre qué tipos de eventos puede ejecutarse. Tu organización decide si se ejecuta y qué eventos selecciona.

Para activar una medición, ábrela en Radar → Mediciones, elige los idiomas, los idiomas de origen, los motores y la muestra que debe examinar, activa la opción Activada y selecciona Guardar cambios. Las mediciones integradas no se pueden editar ni eliminar. El cumplimiento del glosario y el cumplimiento de reglas también se pueden activar por motor; consulta Activar evaluaciones para un motor.

Cumplimiento del glosario #

Comprueba si la traducción ha aplicado los términos del glosario que utiliza el motor. Selecciona los términos cuyo idioma de destino coincide y cuyo texto de origen aparece en el original, y el evaluador devuelve un resultado para cada uno. Las traducciones personalizadas (p. ej., "Deploy" → "Desplegar") pueden adoptar las formas flexionadas que correspondan de manera natural, los términos no traducibles (p. ej., "OAuth") deben mantenerse sin cambios y, cuando las entradas de un mismo término entran en conflicto, basta con seguir una de ellas.

La puntuación es la proporción de resultados devueltos marcados como aplicados. Cuando ningún término del glosario se aplica al texto de origen, la respuesta es N/A.

Cumplimiento de reglas #

Evalúa de forma independiente cada regla que aplica el motor para el idioma de destino: cumplida, no cumplida o no aplicable. Si el motor aplica tres reglas, el evaluador devuelve tres resultados, cada uno con su propio razonamiento.

La puntuación es la proporción de reglas cumplidas entre las que eran aplicables. Se excluyen las reglas que no se aplican al contenido; por ejemplo, una regla de tratamiento formal en una traducción que solo contiene el nombre de un producto. Si no se aplica ninguna regla, no hay puntuación.

Ambas comprobaciones leen los términos del glosario y las reglas del motor tal como están en el momento de ejecutarse, no una instantánea de lo que utilizó el motor al generar la traducción.

MQM#

MQM pide a un modelo que enumere los errores de la traducción, nunca que la puntúe. Cada error indica las palabras exactas que son incorrectas, una de las siete dimensiones básicas de MQM —precisión, terminología, convenciones lingüísticas, estilo, convenciones del idioma, adecuación al público, diseño y marcado—, un nivel de gravedad y una línea que explica el problema. Cuando el evento indica un motor, el modelo también ve la voz de marca del motor para ese idioma, sus reglas y los términos del glosario que utiliza el texto de origen.

La puntuación se calcula aritméticamente a partir de esa lista. Se descartan los errores cuyas palabras no aparecen en la traducción. Cada error restante tiene un peso de 0 si es neutro, 1 si es leve, 5 si es grave o 25 si es crítico, y el total se normaliza por cada 100 palabras del texto de origen:

max(0, 100 − 100 × summed error weights / source word count)

100 significa que no hay errores, y la misma fórmula proporciona una puntuación por dimensión. En los sistemas de escritura sin espacios, como el chino, el japonés, el coreano y el tailandés, se cuenta una palabra por carácter. Si el texto de origen no contiene palabras, la respuesta es N/A.

Tasa de edición, distancia de edición y patrones de edición#

Estas tres mediciones comparan un cambio en una traducción con la versión anterior de la cadena. Cuando Lingo.dev escribe las traducciones —en una sincronización del Centro de ayuda de Zendesk o en un repositorio donde la GitHub App registra las traducciones mediante confirmaciones o la CLI las envía—, devuelven una respuesta por cada versión escrita por Lingo.dev y otra por el cambio que realiza una persona en ella.

• Una versión escrita por Lingo.dev se considera sin cambios: tasa de edición false y distancia de edición 0.
• Una versión editada por una persona inmediatamente después de una escrita por Lingo.dev se compara con esta última: tasa de edición true, distancia del cambio y sus patrones de edición.
• Las ediciones posteriores de una persona, una reversión al texto de Lingo.dev y un cambio que conserva el texto de Lingo.dev salvo por los espacios en blanco devuelven N/A.

Por tanto, cada false representa una traducción escrita por Lingo.dev, y cada true, una que ha modificado una persona. Si se modifican 5 de cada 100 traducciones escritas por Lingo.dev, la tasa de edición es del 5 %.

La tasa de edición elimina los espacios en blanco iniciales y finales y reduce las secuencias internas de espacios en blanco a un solo espacio antes de comparar, por lo que Save changes y Save changes se consideran sin cambios. La distancia de edición es la distancia de Levenshtein entre los textos originales —inserciones, eliminaciones y sustituciones— dividida por la longitud del texto más largo y multiplicada por 100. Los textos demasiado largos para compararlos devuelven N/A. Interpreta ambas mediciones conjuntamente para distinguir las pequeñas correcciones frecuentes de las reescrituras ocasionales. Los patrones de edición clasifican un cambio en categorías como registro, elección de palabras, terminología, reordenación, gramática, puntuación, adición, omisión, traducción incorrecta y formato.

Ninguna de las tres determina qué redacción es mejor ni mide el tiempo empleado.

Activar evaluaciones para un motor #

La pestaña Revisores del motor tiene dos secciones:

Evaluación automática tiene un interruptor para Cumplimiento del glosario y otro para Cumplimiento de reglas. Al activar un interruptor, se añade el motor a esa medición integrada y se activa la medición; al desactivarlo, se retira el motor de la medición. Los ajustes de idioma y muestra no cambian. Cuando una medición integrada se ejecuta sobre todos los motores, cada motor muestra su interruptor activado; al desactivar uno, se guarda la lista de los demás motores existentes, por lo que un motor creado después no se evalúa hasta que se añada. Si tu plan factura las evaluaciones por uso, la sección muestra Facturado por ejecución junto con la tarifa.

Sugerencias contiene los interruptores de Sugerencias del motor, que actúan sobre los resultados bajos de las mediciones personalizadas en lugar de generarlos.

MQM y las mediciones personalizadas no están en esta pestaña. Activa MQM en Radar y selecciona los motores de una medición personalizada en su condición.

Mediciones personalizadas #

Una medición personalizada expresa uno de tus requisitos de calidad con suficiente claridad para poder comprobarlo: conservar una salvedad, cumplir un requisito de voz o mantener diferenciados dos conceptos del producto. Pertenece a la organización.

Las respuestas de Aprobado o suspenso se agregan como tasas de aprobados: un 75 % significa que 3 de las 4 traducciones con respuesta han aprobado. Las respuestas de De 0 a 100 se agregan como medias. Un porcentaje es un valor en la escala que define tu instrucción, no la probabilidad de que la traducción sea correcta.

Elige qué traducciones se evalúan#

Cada condición —y los ajustes de cada medición integrada— delimita los eventos de su tipo:

Selecciona Guardar cambios para aplicarlos. La selección de idiomas sigue la jerarquía de idiomas, no una coincidencia exacta del texto: fr también selecciona fr-CA, y fr-CA no selecciona fr-FR. Una solicitud registrada sin motor no cumple una condición limitada por motor.

El muestreo se decide por evento y medición, de modo que un mismo evento siempre queda incluido o excluido de una muestra determinada cuando se vuelve a evaluar. En un lote pequeño, la proporción muestreada puede diferir de la configurada.

Un evento de un tipo seleccionado que no cumple un selector recibe igualmente una respuesta: N/A, con un razonamiento que empieza por "Condición no cumplida" e identifica el selector. No se factura. Excluye estas respuestas del denominador al calcular la calidad, pero tenlas en cuenta al explicar qué proporción de tu volumen de traducciones se ha revisado.

Activada permite activar o desactivar todas las condiciones de una medición a la vez. Al desactivarla, se detienen las revisiones futuras; el trabajo que ya esté en cola puede llegar a completarse.

Redactar instrucciones #

Las instrucciones son la base de una medición personalizada: indican al evaluador exactamente qué debe comprobar. Redáctalas como un criterio concreto y verificable.

Buenas instrucciones#

Aprobado o suspenso:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

De 0 a 100:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

Qué hace que una instrucción sea buena#

• Criterios específicos — define exactamente qué significan aprobado y suspenso, o qué representan 0 y 100
• Resultados observables — el evaluador debe poder decidir leyendo el texto, sin tener que adivinar la intención
• Un aspecto por medición — separa las comprobaciones de calidad que abarcan varios aspectos en mediciones independientes
• Cuándo abstenerse — con Permitir «No aplicable» activado, indica cuándo no se aplica el criterio, para no confundir una traducción a la que no se aplica con otra en la que faltan pruebas

Prueba una nueva medición con traducciones que puedas examinar, tanto con errores conocidos como con paráfrasis aceptables, antes de confiar en sus respuestas para un gran número de traducciones.

Respuestas N/A#

Con Permitir «No aplicable» activado, el evaluador puede responder N/A en lugar de emitir un veredicto o una puntuación; por ejemplo, al comprobar el tratamiento formal en un idioma que no distingue entre trato formal e informal. Las respuestas N/A se excluyen de las medias y de las tasas de aprobados: no reducen ni inflan las puntuaciones. Con esta opción desactivada, el evaluador debe dar un aprobado, un suspenso o una puntuación. Si un evento no cumple una condición, recibe una respuesta N/A sin consultar al evaluador, independientemente de este ajuste.

Consultar las respuestas#

Cada respuesta incluye un razonamiento y, cuando las pruebas lo justifican, una propuesta de corrección.

• Radar → Eventos → Mediciones muestra todas las respuestas. Filtra por Medición y Valor y abre una respuesta para consultar su valor, el razonamiento, la sugerencia y la solicitud enviada al evaluador.
• La pestaña Registros del motor incluye una columna Revisión para cada solicitud de traducción. Calcula la media de la última respuesta de cada medición personalizada, contando un aprobado como 100 y un suspenso como 0, y excluyendo las respuestas N/A. Muestra N/A cuando todas las respuestas son N/A y Sin revisar cuando no hay ninguna. El cumplimiento del glosario, el cumplimiento de las reglas y MQM no se incluyen en esta columna.
• Los informes muestran la evolución de las respuestas en gráficos, en la descripción general de Radar y en Explorar.

Una respuesta de suspenso o una puntuación baja en una medición personalizada de una traducción del motor también puede activar las Sugerencias del motor. La respuesta en sí no modifica la traducción.

Revisar traducciones que ya tienes#

Una medición activada hoy examina los eventos nuevos. Para aplicarla a los eventos ya recopilados, abre su pestaña Procesamiento retroactivo y elige un intervalo. El procesamiento retroactivo permite medir solo los eventos que aún no tienen respuesta o volver a medir todo el intervalo, lo que sustituye las respuestas anteriores de esa medición en dicho intervalo. Antes de volver a medir, guarda las definiciones y los resultados que necesites para hacer una comparación.

Modelo de revisión#

No eliges el modelo de evaluación. El cumplimiento del glosario, el cumplimiento de las reglas, MQM, los patrones de edición y las mediciones personalizadas se evalúan con un modelo que establece la plataforma y que se configura por separado de los modelos que usa el motor para traducir. La tasa de edición y la distancia de edición se calculan sin un modelo.

Cambiar o eliminar una medición#

En la pestaña General de una medición personalizada, edita las instrucciones, el nombre, el tipo de valor o la opción Permitir «No aplicable», junto con sus condiciones, y selecciona Guardar cambios. Al cambiar el criterio, cambia también el significado de las respuestas posteriores, así que conserva la definición anterior junto con los resultados que vayas a usar como referencia en una comparación.

Al eliminar una medición personalizada, se eliminan su definición y sus condiciones. Las respuestas registradas se conservan, se muestran como Medición desconocida y dejan de contar en la columna Revisión del motor. Para detener las revisiones futuras sin perder la definición, desactívala en lugar de eliminarla.

Gestionar mediciones mediante MCP#

Si utilizas el MCP server de Lingo.dev, tu asistente de programación con IA puede consultar la lista de mediciones, crearlas y actualizarlas, establecer sus condiciones, activarlas o desactivarlas y consultar sus respuestas:

"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."

"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

Siguientes pasos#