Avaliadores de IA

As avaliações por IA são verificações automatizadas que analisam as traduções produzidas pelos seus engines de localização. No painel, elas são chamadas de medições e ficam em Radar → Medições. Os dois nomes se referem à mesma coisa. Cada medição responde a uma pergunta sobre uma tradução — com aprovação ou reprovação, ou uma pontuação de 0 a 100 — e explica a resposta. As avaliações são executadas de forma assíncrona após a conclusão da tradução: nunca bloqueiam ou alteram a tradução, nem decidem se ela será publicada.

Como funciona#

Cada localização concluída é registrada no Radar como um evento localization.completed, que inclui os textos de origem e de destino, os dois idiomas, o engine e o contexto da solicitação. Cada medição configurada para esse tipo de evento, cujas condições selecionem o evento, coloca uma avaliação na fila. A resposta é armazenada junto ao evento examinado.

Não há um recurso de avaliador separado para traduções de engines. As mesmas medições também podem examinar alterações em traduções coletadas de fontes conectadas, como um repositório do GitHub ou uma Central de Ajuda do Zendesk — é dessas fontes que as medições de edição descritas abaixo obtêm suas evidências.

Radar → Medições lista Suas medições e Integradas, mostrando os tipos de evento em que cada medição é executada, seu tipo de valor, seus idiomas, quantos eventos já mediu e se está ativada.

Medições integradas#

A Lingo.dev define o que cada medição integrada calcula e em quais tipos de evento ela pode ser executada. Sua organização decide se ela será executada e quais eventos selecionará.

Para ativar uma medição, abra-a em Radar → Medições, escolha os idiomas, os idiomas de origem, os engines e a amostra que ela deve examinar, ative Habilitada e selecione Salvar alterações. As medições integradas não podem ser editadas nem excluídas. A aderência ao glossário e a aderência às regras também podem ser ativadas por engine — veja Ativar avaliações para um engine.

Aderência ao glossário #

Verifica se a tradução aplicou os termos do glossário usados pelo engine. Seleciona os termos que correspondem ao idioma de destino e cujo texto de origem aparece no conteúdo de origem. O avaliador retorna um resultado para cada termo. Traduções personalizadas (por exemplo, "Deploy" → "Bereitstellen") podem receber flexões naturais, termos não traduzíveis (por exemplo, "OAuth") devem permanecer inalterados e, quando há entradas conflitantes para o mesmo termo, basta seguir uma delas.

A pontuação é a proporção dos resultados retornados em que o termo foi marcado como aplicado. Quando nenhum termo do glossário se aplica ao conteúdo de origem, a resposta é N/A.

Aderência às regras #

Avalia de forma independente cada regra que o engine aplica ao idioma de destino: seguida, não seguida ou não aplicável. Se o engine aplica três regras, o avaliador retorna três resultados, cada um com sua própria justificativa.

A pontuação é a proporção de regras seguidas entre as regras aplicáveis. Uma regra que não se aplica ao conteúdo — por exemplo, uma regra de tratamento formal em uma tradução que contém apenas o nome de um produto — fica de fora do cálculo. Se nenhuma regra se aplica, não há pontuação.

As duas verificações leem os termos do glossário e as regras do engine como estão no momento da execução, não uma cópia do que o engine usou ao gerar a tradução.

MQM#

O MQM pede a um modelo que liste os erros da tradução, nunca que atribua uma pontuação a ela. Cada erro indica as palavras exatas que estão incorretas, uma das sete dimensões do MQM Core — precisão, terminologia, convenções linguísticas, estilo, convenções do idioma, adequação ao público, design e marcação —, um nível de gravidade e uma linha explicando o problema. Quando o evento identifica um engine, o modelo também tem acesso à voz da marca desse engine para o idioma, às suas regras e aos termos do glossário usados no conteúdo de origem.

A pontuação é calculada a partir dessa lista. Erros cujas palavras não aparecem na tradução são descartados. Cada erro restante recebe um peso conforme a gravidade: 0 para neutro, 1 para leve, 5 para grave ou 25 para crítico. O total é normalizado por 100 palavras do conteúdo de origem:

max(0, 100 − 100 × summed error weights / source word count)

100 significa ausência de erros, e a mesma fórmula gera uma pontuação por dimensão. Em sistemas de escrita sem espaços, como chinês, japonês, coreano e tailandês, cada caractere conta como uma palavra. Um conteúdo de origem sem palavras retorna N/A.

Taxa de edição, distância de edição e padrões de edição#

Essas três medições comparam uma alteração na tradução com a versão anterior do texto. Quando a própria Lingo.dev grava as traduções — em uma sincronização com a Central de Ajuda do Zendesk ou em um repositório no qual o GitHub App faz commits das traduções ou a CLI as envia —, elas retornam uma resposta para cada versão gravada pela Lingo.dev e outra para a alteração feita por uma pessoa:

• Uma versão gravada pela Lingo.dev é considerada inalterada: taxa de edição false e distância de edição 0.
• Uma versão feita por uma pessoa imediatamente após uma versão gravada pela Lingo.dev é comparada com esta: taxa de edição true, distância da alteração e seus padrões de edição.
• Edições posteriores feitas por uma pessoa, uma reversão para o texto da Lingo.dev e uma alteração que mantém o texto da Lingo.dev, exceto pelos espaços em branco, retornam N/A.

Assim, cada false representa uma tradução gravada pela Lingo.dev, e cada true, uma tradução alterada por uma pessoa. Se 5 de 100 traduções gravadas pela Lingo.dev forem alteradas, a taxa de edição será de 5%.

A Taxa de edição remove os espaços em branco no início e no fim e reduz as sequências internas de espaços em branco a um só antes da comparação. Por isso, Save changes e Save changes contam como inalterados. A Distância de edição é a distância de Levenshtein entre os textos originais — inserções, exclusões e substituições — dividida pelo comprimento do texto mais longo e multiplicada por 100. Textos longos demais para comparar retornam N/A. Analise as duas juntas para distinguir pequenas correções frequentes de reescritas ocasionais. Padrões de edição classifica uma alteração em categorias como registro, escolha de palavras, terminologia, reordenação, gramática, pontuação, adição, omissão, erro de tradução e formatação.

Nenhuma das três avalia qual redação é melhor nem mede o tempo gasto.

Ativar avaliações para um engine #

A aba Avaliadores da engine tem duas seções:

Avaliação automática tem um controle para Aderência ao glossário e outro para Aderência às regras. Ativar um controle adiciona o engine à medição integrada correspondente e ativa a medição; desativá-lo remove o engine. As configurações de idioma e amostra da medição permanecem como estão. Quando uma medição integrada é executada em todos os engines, o controle aparece ativado em cada um deles. Desativá-lo em um engine salva a lista dos demais engines existentes naquele momento. Assim, um engine criado depois só será avaliado quando for adicionado. Se o seu plano cobra por avaliação, a seção mostra Cobrado por execução com a tarifa.

Sugestões reúne os controles de Sugestões de engine, que agem sobre respostas de valor baixo das medições personalizadas, em vez de produzi-las.

O MQM e as medições personalizadas não ficam nesta aba. Ative o MQM no Radar e selecione os engines de uma medição personalizada na condição dela.

Medições personalizadas #

Uma medição personalizada torna um dos seus requisitos de qualidade claro o suficiente para ser verificado: preservar uma ressalva, seguir um requisito de voz ou manter dois conceitos de produto distintos. Ela pertence à organização.

As respostas de Aprovação ou reprovação são agregadas como taxas de aprovação — 75% significa que 3 de cada 4 traduções com resposta foram aprovadas. As respostas de 0 a 100 são agregadas como médias. Uma porcentagem é um valor na escala definida pelo seu prompt, não a probabilidade de a tradução estar correta.

Escolha quais traduções são avaliadas#

Cada condição — assim como as configurações de cada medição integrada — restringe os eventos do respectivo tipo:

Selecione Salvar alterações para aplicá-las. A seleção de idiomas segue a hierarquia de idiomas, não a correspondência exata do texto: fr também seleciona fr-CA, e fr-CA não seleciona fr-FR. Uma solicitação registrada sem engine não atende a uma condição restrita por engine.

A amostragem é definida por evento e medição. Assim, se um evento for incluído ou excluído de uma determinada amostra, esse resultado se mantém quando ele é avaliado novamente. Em um lote pequeno, a proporção amostrada pode ser diferente da configurada.

Um evento de um tipo selecionado que não atende a um seletor ainda recebe uma resposta: N/A, com uma justificativa que começa com "Condição não atendida" e identifica o seletor. Essa resposta não é cobrada. Exclua essas respostas do denominador no cálculo de qualidade, mas leve-as em conta ao explicar quanto do seu volume de traduções foi avaliado.

Ativado ativa ou desativa todas as condições de uma medição de uma só vez. Desativar essa opção interrompe as avaliações futuras; tarefas que já estão na fila ainda podem ser concluídas.

Como escrever instruções #

O prompt é a base de uma medição personalizada. Ele diz ao avaliador exatamente o que verificar. Escreva-o como um critério específico e testável.

Boas instruções#

Aprovação ou reprovação:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

0 a 100:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

O que faz uma instrução ser boa#

• Critérios específicos - defina exatamente o que significa aprovação e reprovação, ou o que 0 e 100 representam
• Resultados observáveis - o avaliador deve conseguir decidir com base na leitura do texto, sem precisar adivinhar a intenção
• Um aspecto por medição - divida verificações de qualidade com várias dimensões em medições separadas
• Quando se abster - com Permitir não aplicável ativado, indique quando o critério não se aplica, para que uma tradução fora do escopo não seja confundida com uma que não apresenta evidências suficientes

Teste uma nova medição em traduções que você possa examinar — tanto as que contêm erros conhecidos quanto as que usam paráfrases aceitáveis — antes de confiar nas respostas dela para avaliar um grande volume de traduções.

Respostas N/A#

Com Permitir não aplicável ativado, o avaliador pode responder N/A em vez de emitir um parecer ou uma pontuação — por exemplo, ao verificar o tratamento formal em um idioma sem distinção entre formal e informal. As respostas N/A são excluídas das médias e das taxas de aprovação; elas não reduzem nem inflam as pontuações. Com essa opção desativada, o avaliador precisa indicar aprovação, reprovação ou uma pontuação. Um evento que não atende a uma condição recebe a resposta N/A sem consultar o avaliador, independentemente dessa configuração.

Consulte as respostas#

Cada resposta traz uma justificativa e, quando as evidências permitem, uma sugestão de correção.

• Radar → Eventos → Medições lista todas as respostas. Filtre por Medição e Valor e abra uma resposta para ver o valor, a justificativa, a sugestão e a solicitação enviada ao avaliador.
• A aba Registros da engine tem uma coluna Revisão para cada solicitação de tradução. Ela calcula a média das respostas mais recentes de cada medição personalizada, considerando aprovação como 100 e reprovação como 0 e excluindo N/A. Exibe N/A quando todas as respostas são N/A e Não avaliado quando não há nenhuma resposta. A aderência ao glossário, a aderência às regras e o MQM não entram nesse cálculo.
• Os relatórios mostram as respostas em gráficos ao longo do tempo na visão geral do Radar e em Explorar.

Uma reprovação ou pontuação baixa atribuída por uma medição personalizada à tradução de uma engine também pode acionar Sugestões de engine. A resposta em si não altera a tradução.

Avalie traduções que você já tem#

Uma medição ativada hoje examina novos eventos. Para aplicá-la a eventos já coletados, abra a aba Preenchimento retroativo e escolha um intervalo. O preenchimento retroativo pode avaliar apenas os eventos que ainda não têm resposta ou avaliar todo o intervalo novamente — substituindo as respostas anteriores da medição nesse período. Antes de avaliar novamente, salve as definições e os resultados de que você precisa para fazer uma comparação.

Modelo de revisão#

Você não escolhe o modelo de avaliação. A aderência ao glossário, a aderência às regras, o MQM, os padrões de edição e as medições personalizadas são avaliados por um modelo definido pela plataforma, configurado separadamente dos modelos que a engine usa para traduzir. A taxa de edição e a distância de edição são calculadas sem um modelo.

Altere ou remova uma medição#

Na aba Geral de uma medição personalizada, edite o prompt, o nome, o tipo de valor ou a opção Permitir não aplicável, além das condições, e selecione Salvar alterações. Alterar o critério muda o significado das respostas futuras, por isso guarde a definição anterior junto com os resultados que servirão de referência para comparação.

Excluir uma medição personalizada remove sua definição e suas condições. As respostas registradas permanecem, identificadas como Medição desconhecida, e deixam de contar na coluna Revisão da engine. Para interromper avaliações futuras sem perder a definição, desative a medição em vez de excluí-la.

Como gerenciar medições via MCP#

Se você usa o MCP server da Lingo.dev, seu assistente de programação com IA pode listar, criar e atualizar medições, definir suas condições, ativá-las ou desativá-las e consultar suas respostas:

"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."

"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

Próximos passos#