Comparar modelos de tradução

Realize ensaios de tradução em condições equivalentes, preserve essas condições e compare a qualidade, o custo e os resultados em falta para um caso de utilização definido.

Dois modelos podem ter diferenças importantes num tipo de conteúdo que desaparecem noutro. Uma comparação útil define com precisão a decisão a tomar: que configuração preserva as afirmações sobre um produto nos idiomas em que é disponibilizado, com um custo e uma taxa de falhas aceitáveis?

Defina a decisão antes de selecionar exemplos #

Identifique o tipo de conteúdo, os idiomas de destino e o requisito. «Que configuração preserva as promessas que fazemos na finalização da compra em francês?» pode levar a um resultado que permita tomar uma decisão. Uma classificação de modelos sem delimitar o conteúdo ou os idiomas não permite explicar em que situações o resultado se aplica.

Selecione exemplos comuns e difíceis que sejam representativos dessa decisão. Consoante o conteúdo, inclua textos curtos de interface, termos ambíguos, texto corrido, marcadores de posição e afirmações com implicações importantes. Reúna exemplos suficientes em cada idioma relevante para o analisar separadamente da média global.

Preserve as revisões do texto de origem, os idiomas de destino, o contexto e as traduções de referência, quando disponíveis. Uma referência só é útil quando se conhece o seu estatuto e o significado pretendido; uma tradução existente não é, por si só, uma referência de correção. Resolva ou assinale as ambiguidades do texto de origem antes de considerar uma interpretação plausível como uma falha do modelo.

Reserve um conjunto separado de exemplos para os testes finais, sem o utilizar para ajustar os pedidos ou as orientações. Registe as exclusões no âmbito do critério. Retirar um exemplo problemático depois de observar um resultado desfavorável altera a experiência; a falta de elementos do texto de origem num caso elegível continua a ser uma lacuna nos dados que sustentam a análise.

Preserve as condições em comparação #

Guarde o texto exato da configuração ou uma revisão recuperável, e não apenas o nome de um motor de localização que possa ser alterado. Para cada candidato, conserve os identificadores do modelo e do fornecedor, a ordem das alternativas de recurso, o glossário, as regras, a voz, o contexto, as opções de formato, a sequência de processamento, a política de revisão e as definições dos critérios.

Quando a hipótese diz respeito ao modelo, mantenha as restantes condições constantes. Quando diz respeito às orientações, mantenha o modelo constante e altere o glossário ou a instrução relevante. Comparar um modelo sem configuração adicional com um motor de localização totalmente configurado pode responder a uma questão operacional, mas a diferença abrange tanto o contexto como o comportamento do modelo.

Sempre que possível, utilize um ambiente de comparação isolado, pois as orientações partilhadas podem afetar outros clientes que façam chamadas. Examine a configuração de referência, proponha a alteração exata, obtenha a autorização necessária e verifique o que foi guardado antes de realizar o ensaio. Delegação a agentes ajuda a definir esses limites para o trabalho assistido.

Realize ensaios em condições equivalentes e conserve as tentativas sem sucesso #

Submeta a mesma revisão do texto de origem e o mesmo idioma de destino a cada configuração explicitamente identificada. Preserve o resultado exato juntamente com a identificação do ensaio. Registe o modelo efetivamente utilizado e qualquer alternativa de recurso: o sucesso de uma alternativa não demonstra o desempenho de tradução do modelo solicitado.

Mantenha no registo as novas tentativas e os resultados em falta. Substituí-los sem indicação por resultados bem-sucedidos obtidos mais tarde faz uma configuração menos fiável parecer completa. Repita um subconjunto de ensaios em condições equivalentes para analisar a variabilidade; fixar um identificador não garante resultados determinísticos.

Um agente pode processar os mesmos textos selecionados com duas configurações autorizadas e reunir os resultados. Especifique se pode apenas ler as definições existentes, submeter traduções ou também alterar a configuração partilhada. Mostrar dois resultados numa conversa não cria, por si só, um histórico persistente da experiência nem um teste A/B estatisticamente válido.

Avalie o significado segundo os mesmos critérios #

Sempre que possível, defina os critérios antes de revelar que modelo produziu cada resultado. Numa promessa de entrega, é necessário preservar o prazo, a indicação de que se trata de dias úteis e o compromisso assumido. Uma tradução fluente que mantém o número, mas atenua chegará para poderá chegar, altera a promessa.

Calibre o avaliador com exemplos avaliados e validados separadamente, incluindo paráfrases aceitáveis, erros conhecidos e casos sem elementos suficientes para uma conclusão. Distinga a identidade de quem avalia da identidade de quem gera. Um modelo que prefere o seu próprio resultado não constitui uma validação independente.

Peça a revisores qualificados que analisem as divergências com implicações importantes, sem identificar os modelos sempre que possível. Compare os excertos e os requisitos concretos antes de analisar as médias. Validar conclusões sobre a qualidade ajuda a esclarecer possíveis falhas, enquanto a conceção das medições define a elegibilidade, os falsos alarmes, os erros não detetados e os limites das respostas.

Apresente a qualidade, a cobertura e o custo em conjunto #

Mantenha uma linha para cada combinação selecionada de revisão do texto de origem, idioma, candidato e ensaio, com o resultado efetivo, a avaliação e o custo de execução conhecido. Indique os casos aplicáveis, as avaliações concluídas, as respostas conclusivas e o trabalho sem resposta concluída. Os casos cuja aplicabilidade é desconhecida devem permanecer visíveis, em vez de serem excluídos sem indicação.

Calcule a taxa de aprovação entre as respostas conclusivas elegíveis e apresente a cobertura dessas respostas face à população elegível identificada. As avaliações inconclusivas concluídas contam como concluídas, mas não sustentam qualquer veredito sobre a qualidade. O histórico de resultados bem-sucedidos, por si só, não permite reconstituir todos os itens selecionados que não chegaram à avaliação.

Discrimine os resultados por idioma e grupo de conteúdo antes de os agregar. Uma média elevada pode ocultar uma falha grave num grupo pequeno, mas importante. Indique como foi selecionada a amostra; um conjunto escolhido por conter falhas conhecidas não permite determinar a taxa geral de falhas do tráfego habitual.

Utilize o mesmo âmbito de contabilização para o custo e a latência. Inclua as novas tentativas registadas, as alternativas de recurso e as etapas adicionais. Um custo em falta é um custo desconhecido e um resultado em falta é trabalho por concluir. A duração de um pedido difere do tempo total do workflow, que inclui esperas e entrega. A distância de edição não permite determinar o tempo de trabalho humano poupado. Custos explica estes limites de contabilização.

Guarde a decisão de forma a poder reavaliá-la #

O relatório deve ligar uma conclusão de âmbito delimitado aos elementos que a sustentam: que candidato cumpriu que requisitos, em que conteúdos e idiomas, com que cobertura e custo operacional. Se os resultados não permitirem distinguir os candidatos, mantenha a configuração existente ou recolha os elementos em falta, em vez de forçar a escolha de um vencedor.

Preserve os dados de entrada, os resultados, as revisões da configuração, os critérios, as identificações dos ensaios, as conclusões analisadas e as exclusões. A avaliação histórica do Radar substitui as respostas dentro do respetivo intervalo, pelo que não permite preservar ambas as versões de uma comparação.

Antes de uma alteração autorizada em produção, conserve a configuração de referência e um plano de reversão. Volte a verificar os exemplos reservados para os testes finais e confirme que a aplicação recebe o resultado pretendido. Reavalie a conclusão quando o conteúdo, os idiomas ou os requisitos mudarem; o resultado descreve as condições testadas, não é uma recomendação universal de um modelo.