Evaluadores de IA

Las evaluaciones de IA son comprobaciones automáticas de calidad que analizan las traducciones generadas por tu motor de localización. Después de cada solicitud de traducción, Lingo.dev ejecuta evaluaciones independientes con LLM para verificar el resultado: comprueba el cumplimiento del glosario, el seguimiento de las reglas y cualquier criterio personalizado que definas. Estas revisiones se ejecutan de forma asíncrona y nunca bloquean la respuesta de traducción.

En el panel, los evaluadores de IA se llaman measurements. Están en Observability → Measurements (AI Reviews). Ambos nombres significan lo mismo.

Cómo funciona#

Cuando el motor de localización completa una solicitud de traducción, pone en cola las revisiones correspondientes para evaluarlas de forma asíncrona. Cada revisión ejecuta un LLM independiente que recibe el texto fuente, la traducción generada, el contexto y los criterios de evaluación. Devuelve un resultado estructurado —apto/no apto o una puntuación porcentual— con una justificación cuando el resultado no es perfecto.

Hay tres tipos de revisión, y cada uno se activa en un lugar distinto:

Evaluaciones de IA integradas#

Cada motor de localización incluye dos tipos de revisión integrados que comprueban las traducciones según la configuración aplicada por el motor: Cumplimiento del glosario y Cumplimiento de reglas. En la página Measurements aparecen en System managed. Puedes activarlos o desactivarlos por motor desde la pestaña Revisores del motor, o abrir uno en la página Measurements para ver un interruptor para cada motor. No existe ningún ajuste para activar un integrado en todos los motores a la vez.

Cumplimiento del glosario #

Comprueba si la traducción ha respetado todos los términos del glosario aplicables. Si el motor aplica traducciones personalizadas (p. ej., "Deploy" → "Bereitstellen") o términos no traducibles (p. ej., "OAuth"), la revisión verifica que la traducción los respete.

La revisión tiene en cuenta las variaciones gramaticales: un término del glosario en un caso gramatical se aplica a todas sus formas. Si hay términos del glosario en conflicto, la traducción se considera conforme siempre que se haya seguido uno de ellos.

El resultado es un único veredicto de apto/no apto para toda la solicitud de traducción, con una justificación cuando el resultado es no apto.

Cumplimiento de reglas #

Evalúa cada regla de forma independiente. Si el motor aplica tres reglas, la revisión genera tres veredictos de apto/no apto por separado, cada uno con su propia justificación cuando el resultado es negativo.

Una regla puede devolver N/A cuando sus criterios no se aplican al contenido que se está traduciendo. Por ejemplo, una regla sobre tratamiento formal devuelve N/A cuando la traducción solo contiene un nombre de producto o un término técnico en el que la formalidad no es relevante. Los resultados N/A se excluyen de las puntuaciones agregadas.

Ambas revisiones integradas solo se activan cuando el motor tiene una configuración relevante: si ningún término del glosario coincide con el par de idiomas, no se ejecutará ninguna revisión de Cumplimiento del glosario.

Configurar revisiones por motor#

La pestaña Revisores del motor tiene dos secciones:

Revisión automática incluye los interruptores de los dos integrados, Cumplimiento del glosario y Cumplimiento de reglas. Son independientes: puedes activar uno sin el otro, según la configuración del motor.

Sugerencias incluye los interruptores de Engine Suggestions, que actúan sobre puntuaciones bajas en lugar de generarlas.

Las mediciones personalizadas no se activan en esa pestaña. Vinculas una medición a los motores desde la propia medición: en Dónde se ejecuta, activa Ejecutar en todos los motores —incluidos los que se creen más adelante— o elige los motores manualmente. Así puedes mantener una biblioteca compartida de controles de calidad y aplicarlos de forma selectiva.

Un mismo motor puede tener al mismo tiempo revisiones integradas y varias mediciones personalizadas en ejecución. Todas las revisiones se ejecutan de forma asíncrona después de cada solicitud de traducción, y los resultados aparecen en Observability → Events, en la pestaña Events de cada medición y en Reports.

Tipos de evaluador de IA#

Evaluadores de IA booleanos#

Devuelve un veredicto binario: aprobado o suspenso. En el formulario, aparece como Aprobado o suspenso dentro de Qué responde. Úsalo para reglas que se cumplen o no.

Ejemplos:

• "¿La traducción conserva todas las etiquetas y atributos HTML?"
• "¿Se aplican correctamente las reglas de pluralización para el idioma de destino?"
• "¿La traducción utiliza tratamiento formal (Sie) en alemán?"

Los resultados se agregan como tasas de aprobados: 75 % significa que 3 de cada 4 traducciones evaluadas han sido aptas.

Evaluadores de IA porcentuales#

Devuelve una puntuación de 0 a 100. En el formulario, aparece como 0 a 100 dentro de Qué responde. Úsalo para dimensiones de calidad que se miden en una escala.

Ejemplos:

• "Valora la naturalidad de la traducción para un hablante nativo (0–100)"
• "Puntúa hasta qué punto la traducción conserva el tono y la intención originales (0–100)"
• "Evalúa la corrección gramatical en una escala de 0–100"

Los resultados se agregan como medias a lo largo del periodo de evaluación.

Configuración del evaluador de IA#

Crea una con New measurement en la página Measurements. El formulario solicita:

El formulario no incluye ningún campo de proveedor, modelo, muestreo ni activación/desactivación. Una medición se ejecuta allí donde esté vinculada; para detenerla, desvincúlala de sus motores o elimínala. En la API, los campos son name, description, sourceLocale, targetLocale, type (boolean o percentage), instruction y allowsNA, además del campo opcional sampling que se describe más abajo.

Redactar instrucciones para evaluadores de IA#

El campo de instrucción es el núcleo de un evaluador de IA. Le indica al LLM de evaluación exactamente qué debe comprobar. Redáctalo como un criterio específico y verificable.

Buenas instrucciones#

Booleano:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

Porcentaje:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

Qué hace que una instrucción sea buena#

• Criterios específicos — define exactamente qué significa apto/no apto o qué representan 0 y 100
• Resultados observables — el LLM debe poder evaluar leyendo el texto, no adivinando la intención
• Un único aspecto por evaluador de IA — divide las comprobaciones de calidad multidimensionales en evaluadores de IA separados

Coincidencia de idiomas#

Los evaluadores de IA hacen coincidir las solicitudes de traducción por idioma de origen y de destino. El comodín * coincide con cualquier idioma: en el formulario aparece como Cualquier idioma.

Una misma solicitud de traducción puede activar varios evaluadores de IA si varios coinciden con su par de idiomas.

Sampling#

No todas las traducciones tienen por qué revisarse. El panel no incluye ningún ajuste de muestreo: una medición creada ahí revisa todas las solicitudes coincidentes. A través de la API o del servidor MCP puedes establecer sampling: la fracción de solicitudes coincidentes que se evaluará, desde 0 (ninguna) hasta 1 (todas).

El muestreo se aplica en el momento de la solicitud mediante una comprobación aleatoria. Con un volumen suficiente de solicitudes, la tasa real de evaluación converge hacia la fracción configurada.

Compatibilidad con N/A#

Cuando Permitir que responda N/A está activado (allowsNA en la API), el LLM de revisión puede devolver "no aplicable" en lugar de una puntuación. Esto resulta útil para evaluadores de IA cuyos criterios no se aplican a todos los pares de idiomas.

Ejemplo: Un evaluador de IA que comprueba las convenciones de tratamiento formal devuelve N/A para traducciones de inglés → inglés (el inglés no distingue entre tratamiento formal e informal), pero devuelve una puntuación para inglés → alemán.

Los resultados N/A se excluyen de las medias y de las tasas de aprobados en los informes: no reducen las puntuaciones ni las inflan.

Justificación#

Los evaluadores de IA proporcionan una justificación para los resultados imperfectos para ayudarte a entender qué ha fallado:

• Puntuación perfecta (apto o 100 %) — la justificación es null (no hay nada que explicar)
• N/A — la justificación es null
• Puntuación imperfecta — una breve explicación de una sola frase

Así, los resultados de la revisión resultan accionables: cuando una traducción no supera una comprobación, la justificación te dice por qué sin necesidad de investigarlo manualmente.

Modelo de revisión#

No eliges el modelo de evaluación. Una medición nueva se puntúa con un modelo que define la plataforma, configurado por separado de los modelos con los que traduce el motor. El formulario no incluye ningún campo de proveedor ni de modelo.

Informes de evaluadores de IA#

Los resultados de la revisión se muestran en gráficos en Observability → Reports, dentro del grupo What the AI gets wrong:

• Average scores: la media diaria de todas las puntuaciones registradas por cada medición. Filtra por periodo, motor e idioma, y alterna entre las vistas Aggregated y Breakdown.
• Cumplimiento de reglas: los resultados de Cumplimiento de reglas como proporción de ejecuciones

En esa misma página también encontrarás los informes de volumen en Where time goes; consulta Reports. En conjunto, te ofrecen una visión completa tanto del volumen como de la calidad.

Gestionar evaluadores de IA mediante MCP#

Si utilizas el Lingo.dev MCP server, tu asistente de programación con IA puede crear y configurar evaluadores de IA directamente:

"Create a boolean AI reviewer for all locale pairs that checks
whether HTML tags are preserved in translations."

"Add a percentage AI reviewer for English to German that rates
translation fluency on a 0-100 scale, sampling 50% of requests."

Siguientes pasos#