Compare modelos de tradução
Execute testes de tradução pareados, preserve as condições de cada teste e compare qualidade, custo e ausência de resultados para um caso de uso definido.
Dois modelos podem apresentar diferenças importantes para um tipo de conteúdo que desaparecem em outro. Uma comparação útil deixa clara a decisão a tomar: qual configuração preserva as afirmações de um produto nos idiomas que ele atende, com custo e taxa de falhas aceitáveis?
Defina a decisão antes de selecionar exemplos #
Especifique a categoria de conteúdo, os idiomas de destino e o requisito. “Qual configuração preserva nossas promessas na finalização da compra em francês?” pode gerar um resultado que ajude a tomar uma decisão. Uma classificação de modelos sem um recorte de conteúdo ou idioma não explica a quais situações o resultado se aplica.
Selecione exemplos comuns e difíceis que sejam representativos dessa decisão. Dependendo do conteúdo, inclua textos curtos de interface, termos ambíguos, trechos de texto corrido, placeholders e afirmações com consequências importantes. Reúna exemplos suficientes em cada idioma relevante para analisá-lo separadamente da média geral.
Preserve as revisões dos textos de origem, os idiomas de destino, o contexto e as traduções de referência, quando disponíveis. Uma referência só é útil quando seu estado e o significado pretendido são conhecidos; uma tradução existente não deve ser considerada correta por definição. Resolva ou sinalize ambiguidades no texto de origem antes de tratar uma interpretação plausível como defeito do modelo.
Reserve um conjunto separado de exemplos para os testes finais, sem usá-lo para ajustar prompts ou orientações. Registre as exclusões junto ao critério correspondente. Remover um exemplo difícil depois de ver um resultado desfavorável altera o experimento; a falta de evidências no material de origem para um caso elegível continua sendo uma lacuna nas evidências.
Preserve as condições comparadas #
Salve o texto exato da configuração ou uma revisão que possa ser recuperada, em vez de guardar apenas o nome, que pode mudar, de um engine de localização. Para cada candidato, guarde os identificadores do modelo e do provedor, a ordem das alternativas em caso de falha, o glossário, as regras, a voz, o contexto, as opções de formato, o pipeline, a política de revisão e as definições dos critérios.
Quando a hipótese envolver o modelo, mantenha as demais condições constantes. Quando envolver as orientações, mantenha o modelo constante e altere o glossário ou a instrução relevante. Comparar um modelo sem configurações adicionais com um engine de localização totalmente configurado pode responder a uma questão operacional, mas a diferença inclui o contexto, não apenas o comportamento do modelo.
Sempre que possível, use um ambiente isolado para a comparação, pois orientações compartilhadas podem afetar outros clientes que fazem chamadas. Examine a configuração de referência, proponha a alteração exata, obtenha a autorização necessária e verifique o que foi salvo antes de executar o teste. Delegação de agentes ajuda a definir esses limites para o trabalho assistido.
Execute testes pareados e mantenha as tentativas malsucedidas #
Envie a mesma revisão do texto de origem e o mesmo idioma de destino a cada configuração explicitamente identificada. Preserve a saída exata junto com a identificação do teste. Registre o modelo efetivamente usado e qualquer alternativa acionada em caso de falha: o sucesso de uma alternativa não comprova o desempenho de tradução do modelo solicitado.
Mantenha no registro as novas tentativas e as saídas ausentes. Substituí-las silenciosamente por resultados bem-sucedidos obtidos depois faz uma configuração menos confiável parecer completa. Repita um subconjunto dos testes pareados para examinar a variabilidade; fixar um identificador não garante uma saída determinística.
Um agente pode processar os mesmos textos selecionados em duas configurações autorizadas e reunir os resultados. Especifique se ele pode apenas ler as configurações existentes, enviar traduções ou também alterar a configuração compartilhada. Exibir duas saídas em uma conversa não cria, por si só, um histórico persistente do experimento nem um teste A/B estatisticamente válido.
Avalie o significado segundo os mesmos critérios #
Sempre que possível, defina os critérios antes de revelar qual modelo produziu cada saída. Em uma promessa de entrega, o prazo, a condição de contagem em dias úteis e o compromisso precisam ser preservados. Uma tradução fluente que mantém o número, mas enfraquece vai chegar para pode chegar, altera a promessa.
Calibre o avaliador com exemplos julgados separadamente, incluindo paráfrases aceitáveis, erros conhecidos e casos sem evidências. Mantenha separadas a identidade de quem avalia e a de quem gera a tradução. A preferência de um modelo pela própria saída não constitui validação independente.
Peça a revisores qualificados que examinem divergências com consequências importantes, sem identificar os modelos sempre que possível. Compare os trechos efetivos e os requisitos antes de olhar as médias. Validar constatações de qualidade ajuda a esclarecer suspeitas de defeitos, enquanto o planejamento da medição define a elegibilidade, os falsos alarmes, os erros não detectados e os limites das respostas.
Apresente qualidade, cobertura e custo em conjunto #
Mantenha uma linha para cada combinação selecionada de revisão do texto de origem, idioma, candidato, teste, saída efetiva, avaliação e custo de execução conhecido. Informe os casos aplicáveis, as avaliações concluídas, as respostas conclusivas e o trabalho sem resposta concluída. Os casos de aplicabilidade desconhecida devem permanecer visíveis, em vez de serem excluídos silenciosamente.
Calcule a taxa de aprovação entre as respostas conclusivas elegíveis e informe a cobertura dessas respostas em relação à população elegível especificada. Avaliações concluídas com resultado inconclusivo contam como concluídas, mas não fornecem um veredito de qualidade sustentado por evidências. O histórico de resultados bem-sucedidos, por si só, não permite reconstruir todos os itens selecionados que não chegaram à avaliação.
Separe os resultados por idioma e grupo de conteúdo antes de agregá-los. Uma média alta pode ocultar uma falha grave em um grupo pequeno, mas importante. Informe como a amostra foi selecionada; um conjunto escolhido por conter falhas conhecidas não permite estabelecer a taxa geral de defeitos do tráfego habitual.
Use o mesmo escopo de contabilização para custo e latência. Inclua as novas tentativas registradas, as alternativas acionadas em caso de falha e as etapas adicionais. Um custo não registrado é desconhecido, e uma saída ausente representa trabalho inacabado. A duração de uma solicitação difere do tempo total do workflow, que inclui esperas e entrega. A distância de edição não permite determinar o tempo de trabalho humano economizado. Custos explica esses limites dos registros.
Registre uma decisão que possa ser reavaliada #
O relatório deve vincular uma conclusão de escopo delimitado às evidências que a sustentam: qual candidato atendeu a quais requisitos, em quais conteúdos e idiomas, com qual cobertura e custo operacional. Se os resultados não diferenciarem os candidatos, mantenha a configuração existente ou reúna as evidências que faltam, em vez de forçar a escolha de um vencedor.
Preserve entradas, saídas, revisões das configurações, critérios, identificações dos testes, constatações examinadas e exclusões. A avaliação histórica do Radar substitui as respostas dentro do seu intervalo, por isso não consegue preservar as duas versões de uma comparação.
Antes de uma alteração autorizada em produção, preserve a configuração de referência e um plano de reversão. Verifique novamente os exemplos reservados e confirme que a aplicação recebe a saída pretendida. Reavalie a conclusão quando o conteúdo, os idiomas ou os requisitos mudarem; o resultado descreve as condições testadas, não uma recomendação universal de modelo.