Avaliadores de IA

As avaliações por IA são verificações automáticas que analisam as traduções produzidas pelos seus motores de localização. No painel, chamam-se medições e encontram-se em Radar → Medições. Os dois nomes significam o mesmo. Cada medição responde a uma pergunta sobre uma tradução — com um resultado de aprovação ou reprovação, ou uma pontuação de 0 a 100 — e explica a resposta. As avaliações decorrem de forma assíncrona após a conclusão da tradução: nunca a bloqueiam, não a alteram nem decidem se é publicada.

Como funciona#

Cada localização concluída é registada no Radar como um evento localization.completed, que inclui o texto de origem e o de destino, ambos os idiomas, o motor e o contexto do pedido. Cada medição configurada para esse tipo de evento, e cujas condições incluam o evento, coloca uma avaliação em fila de espera. A resposta fica guardada com o evento analisado.

Não existe um recurso de avaliador separado para as traduções dos motores. As mesmas medições também podem analisar alterações a traduções recolhidas de fontes ligadas, como um repositório GitHub ou um Centro de Ajuda do Zendesk — é dessas alterações que as medições de edição descritas abaixo obtêm os dados para a análise.

Radar → Medições apresenta As suas medições e Integradas, com os tipos de evento em que cada medição é executada, o respetivo tipo de valor, os idiomas, o número de eventos medidos e o estado de ativação.

Medições integradas#

A Lingo.dev define o que cada medição integrada calcula e em que tipos de evento pode ser executada. A sua organização decide se a medição é executada e que eventos seleciona.

Para ativar uma medição, abra-a em Radar → Medições, escolha os idiomas, os idiomas de origem, os motores e a amostra a analisar, ligue o interruptor Ativada e selecione Guardar alterações. As medições integradas não podem ser editadas nem eliminadas. O cumprimento do glossário e o cumprimento das regras também podem ser ativados por motor — consulte Ativar avaliações para um motor.

Cumprimento do glossário #

Verifica se a tradução aplicou os termos do glossário utilizados pelo motor. Seleciona os termos com o idioma de destino correspondente e cujo texto de origem aparece no original. O avaliador devolve um resultado para cada termo. As traduções personalizadas (por exemplo, "Deploy" → "Bereitstellen") admitem flexões naturais, os termos não traduzíveis (por exemplo, "OAuth") têm de permanecer inalterados e, quando há entradas em conflito para o mesmo termo, basta seguir uma delas.

A pontuação corresponde à proporção de resultados devolvidos em que o termo foi marcado como aplicado. Quando nenhum termo do glossário se aplica ao texto de origem, a resposta é N/A.

Cumprimento das regras #

Avalia de forma independente cada regra que o motor aplica ao idioma de destino: seguida, não seguida ou não aplicável. Se o motor aplicar três regras, o avaliador devolve três resultados, cada um com a respetiva fundamentação.

A pontuação corresponde à proporção de regras seguidas entre as que se aplicavam. Uma regra que não se aplica ao conteúdo — por exemplo, uma regra de tratamento formal numa tradução que contém apenas o nome de um produto — fica de fora do cálculo. Se nenhuma regra se aplicar, não há pontuação.

Ambas as verificações consultam os termos do glossário e as regras do motor tal como estão no momento da verificação, e não uma cópia do que o motor utilizou ao gerar a tradução.

MQM#

A MQM pede a um modelo que liste os erros da tradução, nunca que lhe atribua uma pontuação. Cada erro identifica as palavras exatas que estão erradas, uma das sete dimensões do MQM Core — exatidão, terminologia, convenções linguísticas, estilo, convenções do idioma, adequação ao público, conceção visual e marcação —, um nível de gravidade e uma linha a explicar o problema. Quando o evento identifica um motor, o modelo também tem acesso à voz da marca desse motor para o idioma, às suas regras e aos termos do glossário usados no texto de origem.

A pontuação resulta de um cálculo sobre essa lista. Os erros cujas palavras não aparecem na tradução são excluídos. A cada erro restante é atribuído um peso: 0 para neutro, 1 para ligeiro, 5 para grave ou 25 para crítico. O total é normalizado por cada 100 palavras do texto de origem:

max(0, 100 − 100 × summed error weights / source word count)

100 significa que não há erros, e a mesma fórmula permite obter uma pontuação por dimensão. Nos sistemas de escrita sem espaços, como o chinês, o japonês, o coreano e o tailandês, conta-se uma palavra por caráter. Se o texto de origem não tiver palavras, a resposta é N/A.

Taxa de edição, distância de edição e padrões de edição#

Estas três medições comparam uma alteração à tradução com a versão anterior da cadeia de texto. Quando é a própria Lingo.dev a escrever as traduções — numa sincronização do Centro de Ajuda do Zendesk ou num repositório onde a GitHub App regista as traduções ou a CLI as envia —, produzem uma resposta por cada versão escrita pela Lingo.dev e outra pela alteração que uma pessoa lhe faz:

• Uma versão escrita pela Lingo.dev é considerada inalterada: taxa de edição false e distância de edição 0.
• Uma versão editada por uma pessoa imediatamente a seguir à versão escrita pela Lingo.dev é comparada com esta: taxa de edição true, distância da alteração e respetivos padrões de edição.
• As edições posteriores de uma pessoa, uma reposição do texto da Lingo.dev e uma alteração que mantém o texto da Lingo.dev exceto nos espaços em branco têm como resposta N/A.

Cada false representa, assim, uma tradução escrita pela Lingo.dev, e cada true uma tradução alterada por uma pessoa. Se forem alteradas 5 das 100 traduções escritas pela Lingo.dev, a taxa de edição é de 5%.

A Taxa de edição remove os espaços em branco no início e no fim e reduz as sequências de espaços em branco internos a um só espaço antes da comparação, pelo que Save changes e Save changes contam como inalterados. A Distância de edição é a distância de Levenshtein entre os textos originais — inserções, eliminações e substituições — dividida pelo comprimento do texto mais longo e multiplicada por 100. Os textos demasiado longos para comparar têm como resposta N/A. Interprete as duas medições em conjunto para distinguir pequenas correções frequentes de reformulações ocasionais. Os Padrões de edição classificam uma alteração em categorias como registo, escolha de palavras, terminologia, reordenação, gramática, pontuação, adição, omissão, erro de tradução e formatação.

Nenhuma das três avalia se a redação melhorou nem mede o tempo despendido.

Ativar avaliações para um motor #

O separador Avaliadores do motor tem duas secções:

A Avaliação automática tem um interruptor para Cumprimento do glossário e outro para Cumprimento das regras. Ligar um interruptor adiciona o motor à respetiva medição integrada e ativa-a; desligá-lo remove o motor. As definições de idioma e de amostra da medição mantêm-se. Quando uma medição integrada é executada em todos os motores, o interruptor aparece ligado em cada motor — ao desligá-lo num motor, fica guardada a lista dos restantes motores atuais, pelo que um motor criado posteriormente só será avaliado depois de ser adicionado. Se o seu plano cobrar pela utilização das avaliações, a secção apresenta Faturado por execução e a respetiva tarifa.

Sugestões contém os interruptores das Sugestões do motor, que atuam sobre resultados baixos das medições personalizadas, em vez de os produzir.

A MQM e as medições personalizadas não estão neste separador. Ative a MQM no Radar e, para uma medição personalizada, selecione os motores na respetiva condição.

Medições personalizadas #

Uma medição personalizada define um dos seus requisitos de qualidade com clareza suficiente para o verificar: preservar uma ressalva, cumprir um requisito de voz da marca ou manter distintos dois conceitos do produto. A medição pertence à organização.

As respostas de Aprovação ou reprovação são agregadas como taxas de aprovação — 75% significa que 3 das 4 traduções com resposta foram aprovadas. As respostas de 0 a 100 são agregadas como médias. Uma percentagem é um valor na escala definida pela sua instrução, não a probabilidade de a tradução estar correta.

Escolher que traduções são avaliadas#

Cada condição — bem como as definições de cada medição integrada — restringe os eventos do respetivo tipo:

Selecione Guardar alterações para aplicar as definições. A seleção de idiomas segue a hierarquia dos idiomas, em vez de exigir uma correspondência exata do texto: fr também seleciona fr-CA, e fr-CA não seleciona fr-FR. Um pedido registado sem motor não satisfaz uma condição limitada a motores.

A inclusão na amostra é determinada por evento e medição, pelo que, numa nova avaliação, o mesmo evento mantém a decisão de inclusão ou exclusão numa dada amostra. Num lote pequeno, a proporção de eventos incluídos na amostra pode diferir da configurada.

Um evento de um tipo selecionado que não satisfaça um seletor recebe, ainda assim, uma resposta: N/A, com uma justificação que começa por "Condição não cumprida" e identifica o seletor. Não é faturado. Exclua estas respostas do denominador usado no cálculo da qualidade, mas tenha-as em conta ao explicar que proporção do seu volume de tradução foi avaliada.

Ativado ativa ou desativa todas as condições de uma medição em conjunto. Ao desativar esta opção, deixam de ser feitas novas avaliações; o trabalho já em fila pode ainda ser concluído.

Escrever instruções #

A instrução é o elemento central de uma medição personalizada. Indica ao avaliador exatamente o que verificar. Formule-a como um critério específico e verificável.

Boas instruções#

Aprovação ou reprovação:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

0 a 100:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

O que torna uma instrução eficaz#

• Critérios específicos - defina exatamente o que significa aprovar e reprovar, ou o que representam 0 e 100
• Resultados observáveis - o avaliador deve conseguir decidir com base na leitura do texto, sem ter de adivinhar a intenção
• Um aspeto por medição - divida as verificações de qualidade com várias dimensões em medições separadas
• Quando não emitir um parecer - com Permitir não aplicável ativado, indique quando o critério não se aplica, para não confundir uma tradução à qual o critério não se aplica com uma que não contém elementos suficientes para a avaliação

Teste uma nova medição em traduções que possa analisar — tanto com erros conhecidos como com paráfrases aceitáveis — antes de confiar nas suas respostas para um grande número de traduções.

Respostas N/A#

Com Permitir não aplicável ativado, o avaliador pode responder N/A em vez de emitir um parecer ou atribuir uma pontuação — por exemplo, numa verificação de tratamento formal num idioma sem distinção entre tratamento formal e informal. As respostas N/A são excluídas das médias e das taxas de aprovação; não reduzem nem inflacionam as pontuações. Com esta opção desativada, o avaliador tem de aprovar, reprovar ou atribuir uma pontuação. Um evento que não cumpra uma condição recebe a resposta N/A sem consultar o avaliador, independentemente desta definição.

Consultar as respostas#

Cada resposta inclui uma justificação e, quando os elementos disponíveis a sustentam, uma sugestão de correção.

• Radar → Eventos → Medições apresenta todas as respostas. Filtre por Medição e Valor e, em seguida, abra uma resposta para consultar o respetivo valor, a justificação, a sugestão e o pedido enviado ao avaliador.
• O separador Registos do motor tem uma coluna Revisão para cada pedido de tradução. Esta calcula a média das respostas mais recentes de cada medição personalizada, contando uma aprovação como 100 e uma reprovação como 0 e excluindo N/A. Apresenta N/A quando todas as respostas foram N/A e Não revisto quando não existe nenhuma resposta. O cumprimento do glossário, o cumprimento das regras e o MQM não entram no cálculo desta coluna.
• Os Relatórios apresentam gráficos das respostas ao longo do tempo na visão geral do Radar e em Explorar.

Uma reprovação ou uma pontuação baixa numa medição personalizada de uma tradução de um motor também pode dar origem a Sugestões para o motor. A resposta, por si só, não altera a tradução.

Avaliar traduções existentes#

Uma medição ativada hoje analisa novos eventos. Para a aplicar a eventos já recolhidos, abra o separador Preenchimento retroativo e escolha um intervalo. O preenchimento retroativo pode medir apenas os eventos que ainda não têm resposta ou voltar a medir o intervalo — substituindo as respostas anteriores da medição nesse intervalo. Antes de voltar a medir, guarde as definições e os resultados de que precisa para fazer uma comparação.

Modelo de revisão#

Não é o utilizador que escolhe o modelo de avaliação. O cumprimento do glossário, o cumprimento das regras, o MQM, os padrões de edição e as medições personalizadas são avaliados por um modelo definido pela plataforma e configurado separadamente dos modelos que o motor utiliza para traduzir. A taxa de edição e a distância de edição são calculadas sem recorrer a um modelo.

Alterar ou remover uma medição#

No separador Geral de uma medição personalizada, edite a instrução, o nome, o tipo de valor ou a opção Permitir não aplicável, bem como as respetivas condições, e selecione Guardar alterações. Alterar o critério muda o significado das respostas posteriores, por isso guarde a definição anterior juntamente com os resultados que vai usar como base de comparação.

Eliminar uma medição personalizada remove a sua definição e as suas condições. As respostas registadas mantêm-se, apresentadas como Medição desconhecida, e deixam de contar para a coluna Revisão do motor. Para impedir novas avaliações sem perder a definição, desative a medição em vez de a eliminar.

Gerir medições através de MCP#

Se utilizar o MCP server da Lingo.dev, o seu assistente de programação com IA pode listar, criar e atualizar medições, definir as respetivas condições, ativá-las ou desativá-las e consultar as suas respostas:

"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."

"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

Próximos passos#