Crie uma medição de qualidade de tradução

Transforme um requisito linguístico em um critério testável, calibre suas respostas e apresente a frequência e o alcance dos problemas encontrados.

Uma pontuação de qualidade é útil quando alguém consegue explicar o que a faria mudar. Se uma condição importante desaparecer de uma tradução, a medição deve detectar essa perda. Se o tradutor expressar a mesma ideia de forma mais natural, ela deve reconhecer essa diferença como aceitável. Criar uma medição significa explicitar essas distinções a ponto de permitir que sejam testadas.

Este guia acompanha um requisito pelas etapas de definição, calibração e apresentação de resultados. Ele se aplica tanto a traduções de um fornecedor quanto às de um pipeline interno ou do Lingo.dev. O resultado é uma medição que outra pessoa consegue executar e interpretar nas mesmas condições, e não um número cujo significado depende da presença de quem o criou.

Defina a mudança de sentido que importa #

Comece pelo efeito que o conteúdo deve produzir. Uma instrução precisa levar à ação correta. Uma afirmação precisa preservar sua força e suas ressalvas. Um termo de produto precisa identificar o mesmo conceito em outro idioma. “Tradução precisa” expressa o objetivo, mas deixa essas distinções implícitas.

Considere o grau de certeza e as condições. Em pode ficar disponível após a aprovação, a possibilidade, a exigência de aprovação e a relação entre elas carregam significado. Traduzir isso como uma promessa incondicional altera a afirmação, mesmo que a tradução mantenha as palavras referentes à disponibilidade e à aprovação.

Um critério para essa distinção poderia ser:

Exemplo de critério: preservar afirmações e condições

Compare a afirmação do texto de origem com a do texto de destino. Verifique se a tradução preserva:

  • O grau de certeza ou de obrigação.
  • Cada condição que limita quando a afirmação se aplica.
  • A relação entre a condição e a afirmação.

Aceite diferenças na redação e na estrutura das frases quando elas preservarem esses sentidos. Ao suspeitar de um erro, identifique os trechos de origem e de destino e explique qual compromisso ou condição mudou. Quando o texto disponível não permitir a comparação, explique o que falta.

O critério dá ao avaliador algo observável para examinar. Também oferece ao revisor uma base para discordar. Um pedido vago para “verificar a precisão” deixa a definição do padrão por conta de cada um.

Escolha um escopo adequado à próxima decisão. Encontrar afirmações que precisam de uma revisão mais cuidadosa exige detecção confiável e constatações compreensíveis. Comparar fornecedores também exige uma amostra comum e uma forma de resumir as constatações. Já a decisão de publicar um item específico exige os requisitos aplicáveis a ele. A mesma verificação pode contribuir para cada uma dessas decisões sem tomar as três por conta própria.

Selecione o texto que permite responder à pergunta #

Defina a unidade de medição. Para o critério acima, use uma afirmação do texto de origem e sua tradução correspondente, com contexto suficiente ao redor para interpretar a condição. Mantenha juntos o ID do conteúdo, a revisão do texto de origem, a revisão da tradução e o idioma. Uma tradução correta de uma versão anterior do texto de origem pode parecer errada quando comparada à nova versão.

Selecione conteúdo que contenha a distinção examinada. Um rótulo de navegação sem nenhuma afirmação está fora do escopo desse critério. Contá-lo como aprovado melhoraria a taxa sem revelar nada sobre a preservação do grau de certeza ou das condições.

A falta de evidências é outro problema. Se uma afirmação selecionada não tiver um texto de origem correspondente, ela ainda faz parte do trabalho avaliado, mas a comparação ainda não pode ser feita. Mantenha essa lacuna visível. Quando não estiver claro se o critério se aplica, registre a incerteza em vez de simplesmente excluir o item.

Forneça contexto que possa mudar a resposta. A definição de um termo ou uma regra do produto pode resolver uma ambiguidade; conteúdo sem relação pode apenas distrair. Uma verificação ortográfica restrita à tradução exige menos evidências do que uma comparação de sentido entre origem e destino. A pergunta determina o que coletar.

Dê um significado claro a cada resposta #

Para o exemplo de preservação de afirmações, três respostas bastam:

RespostaSignificado
PreservadoA tradução mantém o grau de certeza, as obrigações e as condições relevantes do texto de origem, admitindo formulações equivalentes.
AlteradoUma parte identificável desse sentido mudou ou desapareceu. A constatação indica os trechos afetados.
IndeterminadoO avaliador concluiu a comparação, mas não conseguiu sustentar nenhuma das duas conclusões com base nas evidências. A explicação aponta a incerteza.

Esses rótulos descrevem a metodologia. Adapte-os ao formato de resposta da ferramenta utilizada; eles não constituem um esquema de API. Por exemplo, uma medição booleana personalizada do Radar pode retornar true, false ou uma resposta null com uma justificativa. Examine essa justificativa, pois null pode representar mais de uma causa.

Use uma escala numérica quando os níveis intermediários expressarem uma diferença útil. Defina esses níveis em termos que um revisor consiga reconhecer. Um valor de 80 deve significar algo mais preciso do que “razoavelmente bom”. Se a gravidade importar, defina-a pelas consequências do erro e mantenha visíveis as constatações graves ao combinar os resultados. Uma média alta pode coexistir com uma mudança inaceitável em um trecho crítico.

Uma solicitação que falhou não produziu uma resposta linguística concluída. Trate esse caso separadamente de uma avaliação concluída com resposta indeterminada. Essa distinção determina se a próxima ação é restabelecer a execução ou resolver a ambiguidade nas evidências.

Teste a medição em casos já compreendidos #

Prepare um conjunto de calibração com conteúdo que a equipe tenha autorização para avaliar. Inclua erros claros, boas traduções, paráfrases naturais e casos cujas respostas dependam do contexto. Inclua também conteúdo fora do escopo do critério para testar tanto a seleção quanto o julgamento.

Peça a revisores qualificados que definam as respostas esperadas e suas justificativas. As divergências trazem informações úteis. Se o texto de origem admitir duas interpretações, esclareça o sentido pretendido ou preserve a incerteza. Se o padrão estiver claro, mas o avaliador rejeitar uma paráfrase aceitável, a medição precisa ser aprimorada.

Examine separadamente dois tipos de erro:

  • Falsos alarmes são traduções aceitáveis sinalizadas como erros. Eles consomem a atenção de quem faz a revisão e podem incentivar alterações desnecessárias.
  • Erros não detectados são problemas reais que a medição não consegue identificar. Suas consequências dependem do tipo de sentido perdido, não apenas da frequência com que ocorrem.

Teste a medição revisada em exemplos que não foram usados para escrever suas instruções. Quando um LLM fizer a avaliação, registre o modelo, o prompt, a configuração e a variação observada entre execuções repetidas. A concordância com as próprias respostas anteriores não comprova concordância com o padrão da equipe.

A calibração deve produzir um registro concreto de onde a verificação funciona e onde precisa de mais evidências. Um método testado em um único tipo de conteúdo e par de idiomas é um começo útil, não uma conclusão sobre todas as traduções que a empresa produz.

Apresente o problema e o trabalho examinado #

Quando a verificação se mostrar útil em casos conhecidos, aplique-a a um conjunto ou a uma amostra definidos. Registre como a amostra foi escolhida. Uma amostra aleatória pode sustentar uma inferência diferente da obtida com uma amostra selecionada porque outra verificação já havia apontado risco nas traduções. Esta última pode ajudar a encontrar problemas sem estimar sua frequência em todo o conteúdo.

Considere este resultado ilustrativo para 100 pares de tradução selecionados e elegíveis:

ResultadoPares
Sentido preservado72
Sentido alterado8
Avaliação concluída, mas indeterminada10
Sem avaliação concluída10

As avaliações foram concluídas para 90% dos pares selecionados e produziram respostas conclusivas para 80%. Entre essas 80 respostas, 8 identificaram uma mudança, resultando em uma taxa de problemas detectados de 10% entre as respostas conclusivas. Os 20 pares restantes não permitem concluir se o sentido foi preservado ou alterado.

Os três números importam. Os 72 sentidos preservados entre 80 respostas conclusivas resultam em uma taxa de aprovação de 90% entre as respostas conclusivas. Informar apenas que “90% foram aprovados” ocultaria as 10 respostas de avaliações concluídas, mas indeterminadas, e os 10 pares sem avaliação concluída. A taxa de problemas detectados de 10% também continua sendo um resultado desta medição nesta seleção; interpretá-la como uma taxa de erros mais ampla exige uma amostra adequada e evidências sobre falsos alarmes e erros não detectados.

Detalhe os resultados por idiomas e tipos de conteúdo que possam mudar a decisão. Mostre contagens, além de taxas. Um idioma com baixa cobertura de respostas conclusivas precisa ser investigado antes de ficar diluído em um número geral tranquilizador. Preserve exemplos dos problemas recorrentes para que o relatório explique o que a equipe de fato melhoraria.

Mantenha a validade das comparações após uma mudança #

Salve o critério e sua configuração junto com as evidências usadas na comparação. Se o prompt, o modelo, a regra de elegibilidade ou o requisito de origem mudar, teste a nova definição antes de tratar seus resultados como uma continuidade dos anteriores.

Para comparar duas medições, avalie o mesmo texto preservado com ambas as definições. Para comparar duas abordagens de tradução, mantenha os critérios e as condições relevantes consistentes. Caso contrário, uma mudança na pontuação pode refletir uma nova pergunta ou um conteúdo mais fácil, e não traduções melhores.

Preserve uma comparação antes de reavaliar o histórico

A avaliação histórica do Radar substitui as respostas anteriores da medição e do intervalo selecionados. Antes de usá-la, salve as definições e os resultados anteriores necessários à comparação. Uma nova execução não mantém os dois lados do experimento.

A medição está pronta para uso quando outra pessoa consegue selecionar o texto pretendido, fornecer as evidências, explicar cada resposta e reproduzir o cálculo apresentado. Use medições de eventos ou a pontuação local pela CLI para implementar a verificação. Para um workflow externo contínuo, Meça as traduções do seu pipeline aborda a coleta e a recuperação; Valide as constatações de qualidade aprofunda a próxima tarefa: decidir se um problema relatado é real.