Mediciones personalizadas
Crea una verificación específica para tu contenido, elige el tipo de respuesta y los eventos que abarca, y comprueba si detecta el cambio esperado.
Una medición personalizada define uno de tus requisitos de contenido con suficiente precisión para ponerlo a prueba. Puede comprobar si una traducción conserva una salvedad, cumple un requisito de voz definido o mantiene la distinción entre dos conceptos del producto. El prompt le indica al evaluador qué diferencia importa y cuáles son aceptables.
Esta página explica cómo crear una medición en Radar → Mediciones. Para revisar las traducciones que generan tus motores de localización, elige localization.completed como desencadenante; Revisar traducciones de Lingo.dev explica cómo seleccionar los motores y dónde aparecen esas respuestas.
Plantea el requisito como una comparación #
Supongamos que el texto de origen dice que una función podría estar disponible después de la aprobación. Una traducción puede conservar las palabras que se refieren a la función y a la aprobación, pero convertir esa posibilidad en una promesa. Una medición útil debe examinar la relación entre ellas, en lugar de limitarse a buscar coincidencias de términos.
Para ese requisito, un prompt con respuesta booleana podría decir:
Ejemplo de prompt: conservar la certeza y las condiciones
Compara las afirmaciones del texto de origen y del texto de destino. Devuelve true cuando el texto de destino conserve el grado de certeza u obligación del texto de origen, sus condiciones y la relación entre estos elementos. Permite cambios naturales en la redacción y la estructura de las oraciones.
Devuelve false cuando una posibilidad se convierta en una promesa, cambie una obligación, se elimine una condición o esta se vincule con la afirmación equivocada. Identifica en la explicación los fragmentos afectados del texto de origen y del texto de destino, y sugiere una corrección cuando la evidencia la respalde.
Devuelve null cuando el texto no contenga ninguna afirmación aplicable o cuando la evidencia disponible no permita realizar la comparación. Explica cuál de estas situaciones se aplica y qué evidencia falta, si corresponde.
El prompt plantea una pregunta específica y ofrece un criterio para discrepar de la respuesta. No le pide al evaluador que invente todo el estándar de calidad del equipo.
Crea la medición #
- En Radar → Mediciones, inicia una nueva medición e ingresa el prompt.
- Dale un nombre fácil de reconocer, como Conservar la certeza y las condiciones.
- En Valor, elige Aprobado o reprobado para una respuesta booleana, o 0 a 100 para una escala numérica cuyos valores intermedios puedas definir.
- Mantén activada la opción Permitir no aplicable cuando el evaluador deba poder responder N/A, como en el prompt de ejemplo. Si la desactivas, el evaluador deberá responder con aprobado, reprobado o una puntuación.
- Elige el Desencadenante y los Idiomas. El formulario selecciona inicialmente la localización completada; cambia esa selección si la evidencia que necesitas llega a través de otro tipo de evento. Si no seleccionas ningún idioma, se incluyen todos los idiomas de destino.
- Selecciona Crear medición. La definición se guarda con la condición de evento seleccionada habilitada. En la pestaña General, acota esa condición por idioma de origen, motor o muestra, o agrega otros tipos de eventos con Elegir un evento.
El evaluador usa el modelo de evaluación administrado por la plataforma. El prompt de la medición no selecciona el modelo de generación, no cambia las directrices del motor de localización ni agrega una vía para cargar contenido. Configura una entrada compatible para proporcionar la evidencia.
Comprende el contrato de respuesta #
| Tipo de respuesta | Dictamen devuelto |
|---|---|
bool | pass: true, false o null. |
score | score: un valor finito de 0 a 100, o null. |
Ambos tipos incluyen reasoning y suggestion, que admiten valores nulos. Solo se puede devolver un dictamen nulo mientras la opción Permitir no aplicable esté activada. Un valor nulo significa que el evaluador no pudo emitir el dictamen solicitado; el motivo puede indicar que no es aplicable, que hay incertidumbre o que falta evidencia. Un evento que no cumple los criterios de selección de una condición se marca como N/A sin consultar al evaluador, independientemente de esta configuración. Un porcentaje es un valor en la escala que definiste; no representa automáticamente la probabilidad de que la traducción sea correcta.
En el historial de resultados, el valor booleano o la puntuación se muestran mediante value, valueKind y notApplicable. Revisa el indicador N/A antes de interpretar un cero numérico. Resultados explica esta representación y la traza disponible del evaluador.
Pon a prueba la distinción que establece el prompt #
Después de guardar la condición, genera un pequeño conjunto de eventos de prueba compatibles o usa una evaluación histórica acotada para los eventos existentes. Incluye errores conocidos y traducciones aceptables: un compromiso modificado, una condición eliminada, una etiqueta sin relación, un caso sin su texto de origen y una paráfrasis natural que conserve el significado.
Lee la respuesta junto al texto real. Si la verificación marca una paráfrasis aceptable, revisa qué instrucción provocó esa falsa alarma. Si no detecta una condición eliminada, haz más explícito el requisito y ponlo a prueba con ejemplos que no hayas usado para ajustar el prompt. La guía de diseño de mediciones profundiza en la calibración y la elaboración de informes más allá de esta configuración inicial.
Mantén la definición y el alcance #
Las mediciones personalizadas pertenecen a la organización. Puedes editar su prompt, nombre, tipo de valor y opción Permitir no aplicable en la pestaña General. Sus condiciones seleccionan tipos de eventos individuales y los acotan por idiomas, idiomas de origen, motores y muestra. La selección de idiomas sigue la jerarquía de idiomas: fr también selecciona fr-CA, mientras que fr-CA no selecciona fr-FR. Consulta selección de eventos.
Guarda la definición anterior y los resultados útiles antes de cambiar lo que se considera un fallo. La evaluación histórica usa la definición actual y, cuando vuelve a medir un período, reemplaza las respuestas de ese intervalo, por lo que no puede conservar ambos conjuntos de resultados para comparar criterios. Si eliminas la definición, los valores registrados anteriormente quedan sin esa definición; si solo buscas detener las verificaciones futuras, desactivar la medición es una medida de menor alcance.