Avaliadores de IA

As avaliações por IA são verificações de qualidade automáticas que avaliam as traduções produzidas pelo seu motor de localização. Após cada pedido de tradução, a Lingo.dev executa avaliações independentes com LLM para verificar o resultado — validando a conformidade com o glossário, o cumprimento de regras e quaisquer critérios personalizados que definir. Estas avaliações decorrem de forma assíncrona e nunca bloqueiam a resposta da tradução.

No dashboard, os avaliadores de IA são chamados measurements. Estão em Observability → Measurements (AI Reviews). Os dois nomes significam a mesma coisa.

Como funciona#

Quando o motor de localização conclui um pedido de tradução, coloca em fila as revisões aplicáveis para avaliação assíncrona. Cada revisão executa um LLM independente que recebe o texto de origem, o texto traduzido, o contexto e os critérios de avaliação. Devolve um resultado estruturado — aprovação/reprovação ou uma pontuação percentual — com justificação para resultados imperfeitos.

Há três tipos de revisão, e cada um é ativado num local diferente:

avaliações por IA integradas#

Cada motor de localização inclui dois tipos de revisão integrados que verificam as traduções com base na configuração aplicada pelo motor: Cumprimento do glossário e Cumprimento das regras. Na página Measurements, aparecem em System managed. Pode ativá-los ou desativá-los por motor no separador Avaliadores do motor, ou abrir um deles na página Measurements para ver um botão para cada motor. Não existe nenhuma definição que ative um tipo integrado em todos os motores ao mesmo tempo.

Cumprimento do glossário #

Verifica se a tradução respeitou todos os termos de glossário aplicáveis. Se o motor aplicar traduções personalizadas (por exemplo, "Deploy" → "Bereitstellen") ou termos não traduzíveis (por exemplo, "OAuth"), a revisão confirma se a tradução os respeitou.

A revisão tem em conta variações gramaticais — um termo do glossário num determinado caso gramatical aplica-se a todas as formas desse termo. Se existirem termos de glossário em conflito, a tradução é considerada conforme desde que um deles tenha sido seguido.

O resultado é um único veredicto de aprovação/reprovação para todo o pedido de tradução, com justificação quando o resultado é uma reprovação.

Cumprimento das regras #

Avalia cada regra de forma independente. Se o motor aplicar três regras, a revisão produz três veredictos separados de aprovação/reprovação — cada um com a respetiva justificação quando o resultado é reprovado.

Uma regra pode devolver N/A quando os seus critérios não se aplicam ao conteúdo que está a ser traduzido. Por exemplo, uma regra sobre tratamento formal devolve N/A quando a tradução contém apenas um nome de produto ou um termo técnico em que a formalidade é irrelevante. Os resultados N/A são excluídos das pontuações agregadas.

Ambas as revisões integradas só são acionadas quando o motor tem configuração relevante — se nenhum termo do glossário corresponder ao par de idiomas, não é executada nenhuma revisão de Cumprimento do glossário.

Configurar revisões por motor#

O separador Avaliadores do motor tem duas secções:

Revisão automática inclui os botões para os dois tipos integrados, Cumprimento do glossário e Cumprimento das regras. São independentes — pode ativar um sem ativar o outro, consoante o que estiver configurado no motor.

Sugestões inclui os botões de Engine Suggestions, que atuam sobre pontuações baixas em vez de as produzirem.

As medições personalizadas não são ativadas nesse separador. Associa uma medição a motores na própria medição: em Onde é executada, ative Executar em todos os motores — o que inclui motores criados mais tarde — ou escolha os motores manualmente. Isto permite-lhe manter uma biblioteca partilhada de verificações de qualidade e aplicá-las de forma seletiva.

Um único motor pode ter revisões integradas e várias medições personalizadas em execução ao mesmo tempo. Todas as revisões são executadas de forma assíncrona após cada pedido de tradução, e os resultados aparecem em Observability → Events, no separador Events de cada medição e em Reports.

Tipos de avaliador de IA#

Avaliadores de IA booleanos#

Devolve um resultado binário: aprovado ou reprovado. No formulário, isto aparece como Aprovado ou reprovado em Ao que responde. Use esta opção para regras que são cumpridas ou não.

Exemplos:

• "A tradução preserva todas as etiquetas e atributos HTML?"
• "As regras de pluralização são aplicadas corretamente ao idioma de destino?"
• "A tradução usa tratamento formal (Sie) em alemão?"

Os resultados são agregados como taxas de aprovação — 75% significa que 3 em cada 4 traduções avaliadas foram aprovadas.

Avaliadores de IA percentuais#

Devolve uma pontuação de 0 a 100. No formulário, isto aparece como 0 a 100 em Ao que responde. Use esta opção para dimensões de qualidade que existem num espectro.

Exemplos:

• "Avalie a naturalidade da tradução para um falante nativo (0–100)"
• "Pontue até que ponto a tradução preserva o tom e a intenção originais (0–100)"
• "Avalie a correção gramatical numa escala de 0–100"

Os resultados são agregados como médias ao longo do período de avaliação.

Configuração do avaliador de IA#

Crie uma com New measurement na página Measurements. O formulário pede:

O formulário não inclui campos de fornecedor, modelo, amostragem nem ativação/desativação. Uma medição é executada onde estiver associada; para a parar, desassocie-a dos motores ou elimine-a. Na API, os campos são name, description, sourceLocale, targetLocale, type (boolean ou percentage), instruction e allowsNA, mais o campo opcional sampling descrito abaixo.

Escrever instruções para avaliadores de IA#

O campo de instrução é o núcleo de um avaliador de IA. Diz ao LLM de avaliação exatamente o que verificar. Escreva-o como um critério específico e testável.

Boas instruções#

Booleano:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

Percentagem:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

O que torna uma instrução eficaz#

• Critérios específicos — defina exatamente o que significa aprovação/reprovação, ou o que representam 0 e 100
• Resultados observáveis — o LLM deve conseguir avaliar lendo o texto, sem adivinhar a intenção
• Uma preocupação por avaliador de IA — divida verificações de qualidade multidimensionais em avaliadores de IA separados

Correspondência de idiomas#

Os avaliadores de IA fazem a correspondência dos pedidos de tradução por idioma de origem e de destino. O caráter universal * corresponde a qualquer idioma — no formulário, é Qualquer idioma.

Um único pedido de tradução pode acionar vários avaliadores de IA se houver vários que correspondam ao seu par de idiomas.

Amostragem#

Nem todas as traduções precisam de ser revistas. O dashboard não tem nenhuma definição de amostragem — uma medição criada aí revê todos os pedidos correspondentes. Através da API ou do MCP server, pode definir sampling: a fração dos pedidos correspondentes a avaliar, de 0 (nenhum) a 1 (todos).

A amostragem é aplicada no momento do pedido através de uma verificação aleatória. Com um volume suficiente de pedidos, a taxa real de avaliação converge para a fração configurada.

Suporte para N/A#

Quando Permitir que responda N/A está ativado (allowsNA na API), o LLM de revisão pode devolver "não aplicável" em vez de uma pontuação. Isto é útil para avaliadores de IA cujos critérios não se aplicam a todos os pares de idiomas.

Exemplo: Um avaliador de IA que verifica convenções de tratamento formal devolve N/A para traduções de inglês → inglês (o inglês não tem distinção formal/informal), mas devolve uma pontuação para inglês → alemão.

Os resultados N/A são excluídos das médias e das taxas de aprovação nos relatórios — não fazem descer nem inflacionam as pontuações.

Justificação#

Os avaliadores de IA fornecem justificação para resultados imperfeitos, para o ajudar a perceber o que correu mal:

• Pontuação perfeita (aprovação ou 100%) - a justificação é nula (não há nada a explicar)
• N/A - a justificação é nula
• Pontuação imperfeita - uma breve explicação numa única frase

Isto torna os resultados da revisão acionáveis: quando uma tradução falha uma verificação, a justificação diz-lhe porquê sem necessidade de investigação manual.

Modelo de revisão#

Não escolhe o modelo de avaliação. Uma nova medição é avaliada por um modelo definido pela plataforma, configurado separadamente dos modelos com que o motor traduz. O formulário não inclui campos de fornecedor nem de modelo.

Relatórios do avaliador de IA#

Os resultados da revisão são apresentados em gráficos em Observability → Reports, no grupo What the AI gets wrong:

• Average scores — a média diária de todas as pontuações registadas por cada medição. Filtre por período, motor e idioma, e alterne entre as vistas Aggregated e Breakdown
• Cumprimento das regras — os resultados de Cumprimento das regras, como proporção das execuções

A mesma página também inclui os relatórios de volume em Where time goes — consulte Reports. Em conjunto, dão-lhe uma visão completa do volume e da qualidade.

Gerir avaliadores de IA via MCP#

Se utiliza o Lingo.dev MCP server, o seu assistente de programação com IA pode criar e configurar avaliadores de IA diretamente:

"Create a boolean AI reviewer for all locale pairs that checks
whether HTML tags are preserved in translations."

"Add a percentage AI reviewer for English to German that rates
translation fluency on a 0-100 scale, sampling 50% of requests."

Próximos passos#