Conceber uma medição da qualidade da tradução
Transforme um requisito linguístico num critério testável, calibre as respostas e apresente a frequência e o alcance dos problemas detetados.
Uma pontuação de qualidade é útil quando é possível explicar o que a faria mudar. Se uma condição importante desaparecer de uma tradução, a medição deve detetar essa perda. Se a mesma ideia for expressa de forma mais natural, deve reconhecer essa diferença como aceitável. Conceber uma medição significa tornar estas distinções suficientemente explícitas para as poder testar.
Este guia acompanha um requisito desde a definição até à calibração e à apresentação de resultados. Aplica-se quer as traduções venham de um fornecedor, de um processo interno ou do Lingo.dev. O resultado é uma medição que outra pessoa consegue executar e interpretar nas mesmas condições, e não um número cujo significado depende da presença de quem o definiu.
Defina a alteração de significado que importa #
Comece pelo efeito que o conteúdo deve produzir. Uma instrução deve levar à ação correta. Uma afirmação deve manter a sua força e as respetivas ressalvas. Um termo de produto deve identificar o mesmo conceito noutro idioma. «Tradução rigorosa» exprime a ambição, mas deixa estas distinções implícitas.
Considere o grau de certeza e as condições. Em poderá ficar disponível após aprovação, a possibilidade, a necessidade de aprovação e a relação entre ambas contribuem para o significado. Traduzir esta expressão como uma promessa incondicional altera a afirmação, mesmo que a tradução mantenha as palavras relativas à disponibilidade e à aprovação.
Um critério para esta distinção poderia ser formulado assim:
Exemplo de critério: preservar afirmações e condições
Compare a afirmação no texto de origem com a afirmação traduzida. Verifique se a tradução preserva:
- O grau de certeza ou de obrigação.
- Cada condição que limita as circunstâncias em que a afirmação se aplica.
- A relação entre a condição e a afirmação.
Aceite formulações e estruturas frásicas diferentes, desde que preservem estes significados. Perante uma suspeita de erro, identifique as passagens do texto de origem e da tradução e explique que compromisso ou condição mudou. Se o texto disponível não permitir sustentar a comparação, explique o que falta.
O critério dá a quem avalia algo observável para examinar. Dá também a quem faz a revisão uma base para discordar. Um pedido vago para «verificar o rigor» deixa a definição do padrão ao critério de cada uma destas pessoas.
Escolha um âmbito adequado à decisão que se segue. Encontrar afirmações que precisam de uma revisão mais atenta exige uma deteção fiável e conclusões compreensíveis. Comparar fornecedores exige também uma amostra comum e uma forma de resumir as conclusões. Decidir se um determinado conteúdo deve ser publicado exige conhecer os requisitos que lhe são aplicáveis. A mesma verificação pode contribuir para cada uma destas decisões sem, por si só, tomar as três.
Selecione o texto que permite responder à pergunta #
Defina a unidade a medir. Para o critério acima, utilize uma afirmação do texto de origem e a respetiva tradução, com contexto suficiente para interpretar a condição. Mantenha juntos o ID do conteúdo, a versão de origem, a versão da tradução e o idioma. Uma tradução correta de uma versão anterior do texto de origem pode parecer errada quando comparada com a nova versão.
Selecione conteúdo que contenha a distinção em análise. Uma etiqueta de navegação sem qualquer afirmação está fora do âmbito deste critério. Contá-la como aprovada melhoraria a taxa sem demonstrar nada sobre a preservação do grau de certeza ou das condições.
A falta de elementos de análise é um problema diferente. Se uma afirmação selecionada não tiver um texto de origem correspondente, continua a fazer parte do trabalho em avaliação, mas ainda não é possível fazer a comparação. Mantenha essa lacuna visível. Quando não for claro se o critério se aplica, registe a incerteza em vez de excluir o elemento sem o assinalar.
Forneça contexto que possa alterar a resposta. A definição de um termo ou uma regra do produto pode resolver uma ambiguidade; conteúdo sem relação com a questão pode apenas distrair. Uma verificação ortográfica apenas da tradução exige menos elementos de análise do que uma comparação de significado entre o texto de origem e a tradução. A pergunta determina o que deve recolher.
Dê um significado claro a cada resposta #
Para o exemplo de preservação de afirmações, bastam três respostas:
| Resposta | Significado |
|---|---|
| Preservado | A tradução mantém o grau de certeza, as obrigações e as condições relevantes do texto de origem, admitindo formulações equivalentes. |
| Alterado | Uma parte identificável desse significado mudou ou desapareceu. A conclusão identifica as passagens afetadas. |
| Indeterminado | O avaliador concluiu a comparação, mas os elementos disponíveis não permitiram sustentar nenhuma das duas conclusões. A explicação identifica a incerteza. |
Estas são designações metodológicas. Faça a correspondência com o formato de resposta da ferramenta utilizada; não constituem um esquema de API. Por exemplo, uma medição booleana personalizada do Radar pode devolver true, false ou uma resposta null com fundamentação. Examine essa fundamentação, pois null pode corresponder a mais do que uma causa.
Utilize uma escala numérica quando os níveis intermédios exprimirem uma diferença útil. Defina esses níveis em termos que quem faz a revisão consiga reconhecer. Um valor de 80 tem de significar algo mais preciso do que «bastante bom». Se a gravidade for relevante, defina-a em função das consequências do erro e mantenha visíveis as ocorrências graves ao combinar os resultados. Uma média elevada pode coexistir com uma alteração inaceitável numa passagem crítica.
Um pedido que falhou não produz uma resposta linguística concluída. Distinga-o de uma avaliação que chegou ao fim e devolveu uma resposta indeterminada. Essa distinção determina se a próxima ação é recuperar a execução ou resolver a ambiguidade nos elementos de análise.
Teste a medição em casos já conhecidos #
Prepare um conjunto de calibração a partir de conteúdo que a equipa esteja autorizada a avaliar. Inclua erros claros, boas traduções, paráfrases naturais e casos cujas respostas dependam do contexto. Inclua também conteúdo fora do âmbito do critério para testar tanto a seleção como a avaliação.
Peça a profissionais de revisão com as qualificações adequadas que definam as respostas esperadas e a respetiva fundamentação. As divergências fornecem informação útil. Se o texto de origem admitir duas interpretações, esclareça o significado pretendido ou preserve a incerteza. Se o padrão for claro, mas o avaliador rejeitar uma paráfrase aceitável, a medição precisa de ser melhorada.
Examine separadamente dois tipos de erro:
- Falsos alarmes são traduções aceitáveis assinaladas como erros. Consomem tempo e atenção na revisão e podem levar a alterações desnecessárias.
- Erros não detetados são problemas reais que a medição não consegue identificar. As suas consequências dependem do tipo de significado perdido, e não apenas da frequência com que ocorrem.
Teste a medição revista com exemplos que não tenham sido utilizados para redigir as suas instruções. Quando a avaliação é feita por um LLM, guarde o modelo, a instrução, a configuração e a variação observada entre execuções repetidas. A concordância com as próprias respostas anteriores não demonstra concordância com o padrão da equipa.
A calibração deve produzir um registo concreto dos casos em que a verificação funciona e daqueles em que precisa de mais elementos de análise. Um método testado num tipo de conteúdo e num par de idiomas é um ponto de partida útil, não uma conclusão sobre todas as traduções que a empresa produz.
Apresente o problema e o trabalho analisado #
Quando a verificação se mostrar útil em casos conhecidos, aplique-a a um conjunto ou a uma amostra definidos. Registe como escolheu essa amostra. Uma amostra aleatória pode sustentar conclusões diferentes das de uma amostra selecionada por outra verificação já ter sinalizado riscos nas traduções. Esta última pode ajudar a encontrar problemas sem permitir estimar a sua frequência em todo o conteúdo.
Considere este exemplo de resultado para 100 pares de tradução selecionados e elegíveis:
| Resultado | Pares |
|---|---|
| Significado preservado | 72 |
| Significado alterado | 8 |
| Avaliação concluída, mas indeterminada | 10 |
| Sem avaliação concluída | 10 |
As avaliações foram concluídas para 90% dos pares selecionados. Produziram respostas conclusivas para 80%. Dessas 80 respostas, 8 identificaram uma alteração, o que corresponde a uma taxa de problemas detetados de 10% entre as respostas conclusivas. Os restantes 20 pares não permitem concluir se o significado foi preservado ou alterado.
As três medidas são importantes. Os 72 casos de significado preservado em 80 respostas conclusivas correspondem a uma taxa de aprovação de 90% entre as respostas conclusivas. Comunicar apenas «90% de aprovação» ocultaria as 10 respostas de avaliações concluídas, mas indeterminadas, e os 10 pares sem avaliação concluída. A taxa de problemas detetados de 10% continua a ser um resultado desta medição aplicada a esta seleção; interpretá-la como uma taxa de erro mais abrangente exige uma amostra adequada e dados sobre falsos alarmes e erros não detetados.
Separe os resultados por idiomas e tipos de conteúdo que possam influenciar a decisão. Apresente números absolutos, além de taxas. Um idioma com poucas respostas conclusivas precisa de ser investigado antes de ficar diluído num número global tranquilizador. Guarde exemplos dos problemas recorrentes para que o relatório explique o que a equipa iria efetivamente melhorar.
Mantenha as comparações válidas após uma alteração #
Guarde o critério e a respetiva configuração juntamente com os elementos de análise utilizados na comparação. Se a instrução, o modelo, a regra de elegibilidade ou o requisito de origem mudar, teste a nova definição antes de tratar os seus resultados como uma continuação dos anteriores.
Para comparar duas medições, avalie o mesmo texto guardado segundo ambas as definições. Para comparar duas abordagens de tradução, mantenha os critérios e as condições relevantes constantes. Caso contrário, uma alteração na pontuação pode refletir uma nova pergunta ou conteúdo mais fácil, em vez de traduções melhores.
Guarde os dados de comparação antes de reavaliar o histórico
A avaliação histórica do Radar substitui as respostas anteriores para a medição e o intervalo selecionados. Antes de a utilizar, guarde as definições e os resultados anteriores necessários à comparação. Uma nova execução não conserva os dois lados da experiência.
A medição está pronta a ser utilizada quando outra pessoa consegue selecionar o texto pretendido, fornecer os elementos de análise, explicar cada resposta e reproduzir o cálculo apresentado. Utilize medições de eventos ou a pontuação local com a CLI para implementar a verificação. Para um workflow externo contínuo, Medir traduções do seu processo aborda a recolha e a recuperação; Validar conclusões sobre a qualidade aprofunda a tarefa seguinte: decidir se um problema comunicado é real.