Comparar modelos de traducción
Ejecuta pruebas de traducción en condiciones equivalentes, conserva esas condiciones y compara la calidad, el costo y los resultados faltantes para un caso de uso definido.
Las diferencias entre dos modelos pueden ser importantes para un tipo de contenido y desaparecer en otro. Una comparación útil parte de una decisión concreta: ¿qué configuración conserva las afirmaciones de un producto en los idiomas en los que se ofrece, con un costo y una tasa de fallas aceptables?
Define la decisión antes de seleccionar ejemplos #
Especifica el tipo de contenido, los idiomas de destino y el requisito. “¿Qué configuración conserva nuestras promesas durante el proceso de pago en francés?” puede dar un resultado que sirva para tomar decisiones. Una clasificación de modelos sin un alcance definido de contenido o idiomas no permite explicar dónde se aplica el resultado.
Selecciona ejemplos habituales y difíciles que sean representativos de esa decisión. Según el contenido, incluye textos breves de interfaz, términos ambiguos, pasajes de texto conectados entre sí, marcadores de posición y afirmaciones con consecuencias importantes. Conserva suficientes ejemplos de cada idioma relevante para analizarlo por separado del promedio general.
Conserva las revisiones del texto fuente, los idiomas de destino, el contexto y las traducciones de referencia disponibles. Una referencia solo es útil si se conocen su estado y el significado que busca transmitir; una traducción existente no es, por defecto, una referencia válida. Resuelve o señala las ambigüedades del texto fuente antes de considerar una interpretación plausible como un defecto del modelo.
Reserva un conjunto separado de ejemplos para las pruebas finales y no lo uses para ajustar las instrucciones de entrada ni las directrices. Registra las exclusiones conforme al criterio. Eliminar un ejemplo difícil después de ver un resultado desfavorable cambia el experimento; si falta evidencia del texto fuente para un caso elegible, esa falta de evidencia sigue pendiente.
Conserva las condiciones que se comparan #
Guarda el texto exacto de la configuración o una revisión que puedas recuperar, no solo el nombre de un motor de localización que puede cambiar. Para cada candidato, conserva los identificadores del modelo y del proveedor, el orden de las alternativas de respaldo, el glosario, las reglas, la voz, el contexto, las opciones de formato, el proceso, la política de revisión y las definiciones de los criterios.
Si la hipótesis se refiere al modelo, mantén constantes las demás condiciones. Si se refiere a las directrices, mantén constante el modelo y cambia el glosario o la instrucción correspondiente. Comparar un modelo sin configuración adicional con un motor de localización completamente configurado puede responder una pregunta operativa, pero la diferencia abarca tanto el contexto como el comportamiento del modelo.
Siempre que sea posible, usa un entorno de comparación aislado, ya que las directrices compartidas pueden afectar a quienes también envían solicitudes. Revisa la configuración de referencia, propone el cambio exacto, obtén la autorización necesaria y verifica qué se guardó antes de ejecutar la prueba. Delegación a agentes ayuda a definir esos límites para el trabajo asistido.
Ejecuta pruebas en condiciones equivalentes y conserva los intentos fallidos #
Envía la misma revisión del texto fuente y el mismo idioma de destino a cada configuración identificada explícitamente. Conserva el resultado exacto junto con la identificación de la prueba. Registra el modelo que se usó realmente y cualquier alternativa de respaldo: el éxito de una alternativa de respaldo no demuestra el rendimiento de traducción del modelo solicitado.
Conserva los reintentos y los resultados faltantes en el registro. Sustituirlos sin indicarlo por resultados que finalmente tuvieron éxito hace que una configuración menos confiable parezca completa. Repite un subconjunto de pruebas en condiciones equivalentes para analizar la variabilidad; fijar un identificador no garantiza resultados deterministas.
Un agente puede procesar los mismos textos seleccionados con dos configuraciones autorizadas y reunir los resultados. Especifica si solo puede consultar la configuración existente, enviar traducciones o también modificar la configuración compartida. Mostrar dos resultados en una conversación no crea, por sí solo, un historial persistente del experimento ni una prueba A/B estadísticamente válida.
Evalúa el significado con los mismos criterios #
Cuando sea posible, define los criterios antes de revelar qué modelo produjo cada resultado. En una afirmación sobre una entrega, deben conservarse el plazo, la aclaración sobre días hábiles y el compromiso. Una traducción fluida que conserva el número, pero cambia llegará por podría llegar, debilita y modifica la afirmación.
Calibra al evaluador con ejemplos cuyo resultado se haya determinado por separado, incluidas paráfrasis aceptables, errores conocidos y casos sin evidencia. Mantén separadas las identidades del evaluador y del generador. Que un modelo prefiera su propio resultado no constituye una validación independiente.
Pide a personas calificadas para la revisión que examinen los desacuerdos con consecuencias importantes, sin identificar los modelos cuando sea viable. Compara los pasajes y los requisitos concretos antes de revisar los promedios. Validar los hallazgos de calidad ayuda a esclarecer los posibles defectos, mientras que el diseño de las mediciones define la elegibilidad, las falsas alarmas, los errores no detectados y los límites de las respuestas.
Reporta la calidad, la cobertura y el costo en conjunto #
Conserva una fila para cada revisión seleccionada del texto fuente, idioma, candidato, prueba, resultado real, evaluación y costo de ejecución conocido. Reporta los casos aplicables, las evaluaciones completadas, las respuestas concluyentes y el trabajo que quedó sin una respuesta completa. Los casos cuya aplicabilidad se desconoce deben seguir visibles, no excluirse sin indicarlo.
Calcula la tasa de aprobación entre las respuestas elegibles y concluyentes, y reporta la cobertura de respuestas concluyentes respecto de la población elegible especificada. Las evaluaciones completadas pero no concluyentes cuentan como completadas, aunque no aportan un veredicto de calidad respaldado por evidencia. El historial de resultados exitosos, por sí solo, no permite reconstruir cada elemento seleccionado que no llegó a la evaluación.
Desglosa los resultados por idioma y grupo de contenido antes de combinarlos. Un promedio alto puede ocultar una falla grave en un grupo pequeño pero importante. Indica cómo se seleccionó la muestra; un conjunto elegido por sus fallas conocidas no permite establecer la tasa general de defectos del tráfico habitual.
Usa el mismo alcance de contabilización para el costo y la latencia. Incluye los reintentos registrados, las alternativas de respaldo y las etapas adicionales. Si falta el costo, es desconocido; si falta el resultado, el trabajo está sin terminar. La duración de una solicitud es distinta del tiempo total del flujo de trabajo, que incluye las esperas y la entrega. La distancia de edición no permite determinar cuánto tiempo de trabajo humano se ahorró. Costos explica estos límites del registro.
Conserva una decisión que puedas reconsiderar #
El informe debe vincular una conclusión de alcance definido con la evidencia que la respalda: qué candidato cumplió qué requisitos, para qué contenido e idiomas, con qué cobertura y costo operativo. Si los resultados no permiten distinguir entre los candidatos, conserva la configuración existente o recopila la evidencia faltante en lugar de inventar un ganador.
Conserva las entradas, los resultados, las revisiones de configuración, los criterios, las identificaciones de las pruebas, los hallazgos examinados y las exclusiones. La evaluación histórica de Radar reemplaza las respuestas dentro de su intervalo, por lo que no puede conservar ambas versiones de una comparación.
Antes de realizar un cambio autorizado en producción, conserva la configuración de referencia y un plan de reversión. Vuelve a revisar los ejemplos reservados para las pruebas finales y verifica que la aplicación reciba el resultado previsto. Reconsidera la conclusión cuando cambien el contenido, los idiomas o los requisitos; el resultado describe las condiciones probadas, no una recomendación universal de un modelo.