Comparar modelos de traducción

Realiza pruebas de traducción en condiciones equivalentes, conserva esas condiciones y compara la calidad, el coste y la falta de resultados para un caso de uso definido.

Dos modelos pueden presentar diferencias relevantes para un tipo de contenido que desaparecen en otro. Una comparación útil concreta la decisión que se quiere tomar: ¿qué configuración mantiene las afirmaciones de un producto en los idiomas que ofrece, con un coste y una tasa de fallos aceptables?

Define la decisión antes de seleccionar los ejemplos #

Especifica el tipo de contenido, los idiomas de destino y el requisito. «¿Qué configuración mantiene en francés las promesas que hacemos durante el proceso de compra?» puede dar lugar a un resultado que permita tomar medidas. Una clasificación de modelos que no delimita el contenido ni los idiomas no permite explicar en qué casos se aplica el resultado.

Selecciona ejemplos habituales y difíciles que sean representativos de esa decisión. Según el contenido, incluye textos breves de interfaz, términos ambiguos, textos cohesionados, marcadores de posición y afirmaciones con consecuencias importantes. Incluye suficientes ejemplos en cada idioma relevante para poder analizarlo por separado de la media global.

Conserva las revisiones del texto de origen, los idiomas de destino, el contexto y las traducciones de referencia, cuando estén disponibles. Una referencia solo es útil si se conocen su estado y el significado que pretende transmitir; una traducción existente no constituye, por sí sola, una referencia fiable. Resuelve o señala las ambigüedades del texto de origen antes de considerar una interpretación plausible como un defecto del modelo.

Reserva un conjunto independiente de ejemplos para las pruebas finales y no lo utilices para ajustar las indicaciones ni las directrices. Registra las exclusiones conforme al criterio aplicado. Eliminar un ejemplo complicado después de ver un resultado desfavorable altera el experimento; si faltan pruebas del texto de origen para un caso que cumple los requisitos, esa carencia sigue existiendo.

Conserva las condiciones que se comparan #

Guarda el texto de la configuración utilizada o una revisión que puedas recuperar, en lugar de limitarte al nombre de un motor de localización cuya configuración puede cambiar. Para cada candidato, conserva los identificadores del modelo y del proveedor, el orden de los modelos alternativos, el glosario, las reglas, la voz, el contexto, las opciones de formato, la secuencia de procesamiento, la política de revisión y las definiciones de los criterios.

Si la hipótesis se refiere al modelo, mantén constantes las demás condiciones. Si se refiere a las directrices, mantén el mismo modelo y modifica el glosario o la instrucción correspondiente. Comparar un modelo sin configurar con un motor de localización totalmente configurado puede responder a una pregunta operativa, pero la diferencia incluye tanto el contexto como el comportamiento del modelo.

Utiliza un entorno de comparación aislado siempre que sea posible, ya que las directrices compartidas pueden afectar a otros usuarios o sistemas que las utilicen. Examina la configuración de referencia, propón el cambio exacto, obtén la autorización necesaria y comprueba qué se ha guardado antes de ejecutar la prueba. Delegación de agentes ayuda a definir esos límites para el trabajo asistido.

Realiza pruebas en condiciones equivalentes y conserva los intentos fallidos #

Envía la misma revisión del texto de origen y el mismo idioma de destino a cada configuración identificada explícitamente. Conserva la salida exacta junto con el identificador de la prueba. Registra el modelo que se ha utilizado realmente y cualquier modelo alternativo al que se haya recurrido: que una alternativa funcione no demuestra el rendimiento de traducción del modelo solicitado.

Incluye los reintentos y las salidas ausentes en el registro. Sustituirlos sin indicarlo por resultados que finalmente fueron satisfactorios hace que una configuración menos fiable parezca completa. Repite un subconjunto de pruebas en condiciones equivalentes para examinar la variabilidad; fijar un identificador no garantiza una salida determinista.

Un agente puede procesar los mismos textos seleccionados con dos configuraciones autorizadas y recopilar los resultados. Especifica si solo puede consultar los ajustes existentes, enviar traducciones o también modificar la configuración compartida. Mostrar dos salidas en una conversación no crea, por sí solo, un historial persistente del experimento ni una prueba A/B estadísticamente válida.

Evalúa el significado con los mismos criterios #

Siempre que sea posible, define los criterios antes de revelar qué modelo ha producido cada salida. En una afirmación sobre una entrega, deben mantenerse el plazo, la precisión sobre los días laborables y el compromiso. Una traducción fluida que conserva la cifra, pero rebaja llegará a puede llegar, ha cambiado la afirmación.

Calibra el evaluador con ejemplos cuyo veredicto se haya establecido de forma independiente, incluidas paráfrasis aceptables, errores conocidos y casos sin pruebas suficientes. Mantén separadas la identidad del evaluador y la del generador. Que un modelo prefiera su propia salida no constituye una validación independiente.

Pide a revisores cualificados que examinen las discrepancias importantes sin identificar los modelos, siempre que sea viable. Compara los pasajes concretos y los requisitos antes de consultar las medias. Validar los hallazgos de calidad ayuda a aclarar los posibles defectos, mientras que el diseño de las mediciones define los requisitos de inclusión, las falsas alarmas, los errores no detectados y los límites de las respuestas.

Presenta la calidad, la cobertura y el coste conjuntamente #

Mantén una fila para cada caso seleccionado con la revisión del texto de origen, el idioma, el candidato, la prueba, la salida real, la evaluación y el coste de ejecución conocido. Informa de los casos aplicables, las evaluaciones completadas, las respuestas concluyentes y el trabajo que no ha llegado a una respuesta final. Los casos cuya aplicabilidad se desconoce deben seguir siendo visibles, en lugar de excluirse sin indicarlo.

Calcula la tasa de aprobación entre las respuestas concluyentes que cumplen los requisitos e informa de la cobertura de respuestas concluyentes respecto a la población definida que cumple esos requisitos. Las evaluaciones completadas pero no concluyentes cuentan como completadas, aunque no aportan un veredicto de calidad respaldado por pruebas. El historial de resultados satisfactorios, por sí solo, no permite reconstruir todos los elementos seleccionados que no llegaron a evaluarse.

Desglosa los resultados por idioma y grupo de contenido antes de agruparlos. Una media alta puede ocultar un fallo grave en un grupo pequeño pero importante. Explica cómo se seleccionó la muestra; un conjunto elegido por sus fallos conocidos no permite establecer la tasa general de defectos del tráfico habitual.

Utiliza el mismo alcance de contabilización para el coste y la latencia. Incluye los reintentos registrados, el uso de modelos alternativos y las etapas adicionales. Si falta el coste, es desconocido; si falta la salida, el trabajo está sin terminar. La duración de una solicitud no equivale al tiempo total del flujo de trabajo, que incluye las esperas y la entrega. La distancia de edición no permite determinar cuánto tiempo de trabajo humano se ha ahorrado. Costes explica estos límites del registro.

Conserva una decisión que puedas revisar #

El informe debe vincular una conclusión de alcance delimitado con las pruebas que la respaldan: qué candidato cumplió qué requisitos, para qué contenido e idiomas, con qué cobertura y coste operativo. Si los resultados no permiten distinguir entre los candidatos, conserva la configuración existente o recopila las pruebas que faltan, en lugar de inventar un ganador.

Conserva las entradas, las salidas, las revisiones de la configuración, los criterios, los identificadores de las pruebas, los hallazgos examinados y las exclusiones. La evaluación histórica de Radar sustituye las respuestas dentro de su intervalo, por lo que no puede conservar ambas versiones de una comparación.

Antes de realizar un cambio autorizado en producción, conserva la configuración de referencia y un plan de reversión. Vuelve a comprobar los ejemplos reservados y verifica que la aplicación reciba la salida prevista. Revisa la conclusión cuando cambien el contenido, los idiomas o los requisitos; el resultado describe las condiciones de la prueba, no una recomendación universal sobre el modelo.