As avaliações por IA são verificações automáticas de qualidade que analisam as traduções produzidas pelo seu engine de localização. Após cada solicitação de tradução, o Lingo.dev executa avaliações independentes com LLM para verificar o resultado — checando conformidade com o glossário, aderência às regras e quaisquer critérios personalizados que você definir. As revisões são executadas de forma assíncrona e nunca bloqueiam a resposta da tradução.
Como funciona#
Quando o engine de localização conclui uma solicitação de tradução, ele coloca na fila as revisões aplicáveis para avaliação assíncrona. Cada revisão executa um LLM independente que recebe o texto de origem, a tradução gerada, o contexto e os critérios de avaliação. Ele retorna um resultado estruturado — aprovação/reprovação ou uma pontuação percentual — com justificativa para resultados imperfeitos.
A aba Reviews do engine controla quais revisões serão executadas nesse engine. Há três categorias:
| Categoria | O que verifica | Tipo de resultado | Configuração |
|---|---|---|---|
| Avaliação por IA de itens do glossário | Se as traduções seguem os termos do glossário aplicados pelo engine | Aprovação / Reprovação | Alternância nativa por engine |
| Avaliação por IA de regras | Se as traduções seguem cada uma das regras aplicadas pelo engine | Aprovado / Reprovado por regra | Alternância nativa por engine |
| Avaliadores de IA personalizados | Seus próprios critérios de avaliação, definidos no nível da organização | Aprovação / Reprovação ou 0–100% | Selecione por engine entre os avaliadores definidos no nível da organização |
Avaliações por IA nativas#
Todo engine de localização inclui dois tipos de revisão integrados que verificam as traduções com base na configuração aplicada pelo engine. Ative ou desative essas opções na aba Reviews do engine.
Avaliação por IA de itens do glossário#
Verifica se a tradução seguiu todos os termos de glossário aplicáveis. Se o engine aplicar traduções personalizadas (por exemplo, "Deploy" → "Bereitstellen") ou termos não traduzíveis (por exemplo, "OAuth"), a revisão verifica se a tradução respeitou essas definições.
A revisão leva em conta variações gramaticais — um termo do glossário em um caso gramatical se aplica a todas as formas desse termo. Se houver termos de glossário conflitantes, a tradução é considerada compatível desde que um deles tenha sido seguido.
O resultado é um único veredito de aprovação/reprovação para toda a solicitação de tradução, com justificativa quando o resultado for reprovação.
Avaliação por IA de regras#
Avalia cada regra de forma independente. Se o engine aplicar três regras, a revisão gera três vereditos separados de aprovação/reprovação — cada um com sua própria justificativa quando o resultado for reprovação.
As regras eram chamadas de instruções
No dashboard, no toggle da aba Reviews e no relatório de Aderência às regras, elas são chamadas de regras. A API REST ainda expõe uma regra individual em /instructions.
Uma regra pode retornar N/A quando seus critérios não se aplicam ao conteúdo que está sendo traduzido. Por exemplo, uma regra sobre tratamento formal retorna N/A quando a tradução contém apenas um nome de produto ou um termo técnico em que a formalidade é irrelevante. Resultados N/A são excluídos das pontuações agregadas.
As duas revisões integradas só são acionadas quando o engine tem uma configuração relevante. Se nenhum termo do glossário corresponder ao par de idioma, nenhuma avaliação por IA de itens do glossário será executada.
Configurando revisões por engine#
Abra a aba Reviews do engine para controlar quais revisões serão executadas nesse engine. A aba tem duas seções:
Os toggles integrados no topo controlam a avaliação por IA de itens do glossário e a avaliação por IA de regras. Eles são independentes — você pode ativar um sem o outro, dependendo do que estiver configurado no engine.
Os avaliadores de IA personalizados abaixo das alternâncias listam todos os avaliadores de IA definidos no nível da organização. Ative ou desative cada um para esse engine específico. Assim, você pode manter uma biblioteca compartilhada de verificações de qualidade e aplicá-las de forma seletiva.
Um único engine pode ter revisões nativas e vários avaliadores de IA personalizados rodando ao mesmo tempo. Todas as revisões são executadas de forma assíncrona após cada solicitação de tradução, e os resultados aparecem no log de tradução e em Reports.
Tipos de avaliador de IA#
Avaliadores de IA booleanos#
Retornam um veredito binário: aprovação ou reprovação. Use-os para regras que são cumpridas ou não.
Exemplos:
- "A tradução preserva todas as tags e atributos HTML?"
- "As regras de pluralização são aplicadas corretamente no idioma de destino?"
- "A tradução usa tratamento formal (Sie) em alemão?"
Os resultados são agregados como taxas de aprovação — 75% significa que 3 de 4 traduções avaliadas foram aprovadas.
Avaliadores de IA percentuais#
Retornam uma pontuação de 0 a 100. Use-os para dimensões de qualidade que existem em um espectro.
Exemplos:
- "Avalie a naturalidade da tradução para um falante nativo (0–100)"
- "Dê uma nota para o quanto a tradução preserva o tom e a intenção originais (0–100)"
- "Avalie a correção gramatical em uma escala de 0 a 100"
Os resultados são agregados como médias ao longo do período de avaliação.
Configuração do avaliador de IA#
| Campo | Descrição |
|---|---|
| Nome | Um rótulo que identifica o avaliador de IA (por exemplo, "Verificação de pluralização") |
| Instrução | Os critérios de avaliação, escritos em linguagem natural |
| Tipo | boolean (aprovação/reprovação) ou percentage (0–100) |
| idioma de origem | O idioma de origem que deve corresponder, ou * para qualquer um |
| idioma de destino | O idioma de destino que deve corresponder, ou * para qualquer um |
| Provedor / Modelo | O LLM usado na avaliação (independente do modelo de tradução) |
| Sampling | Percentual de solicitações a serem avaliadas (0–100%) |
| Permitir N/A | Se o avaliador de IA pode retornar "não aplicável" para pares irrelevantes |
| Ativado | Ativa ou desativa a revisão sem excluir a configuração |
Escrevendo instruções para avaliadores de IA#
O campo de instrução é o núcleo de um avaliador de IA. Ele informa ao LLM de avaliação exatamente o que verificar. Escreva-o como um critério específico e testável.
Boas instruções#
Booleano:
Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.Percentual:
Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.O que faz uma instrução ser boa#
- Critérios específicos — defina exatamente o que significa aprovação/reprovação, ou o que 0 e 100 representam
- Resultados observáveis — o LLM deve conseguir avaliar lendo o texto, não tentando adivinhar a intenção
- Uma preocupação por avaliador de IA — divida verificações de qualidade multidimensionais em avaliadores de IA separados
Correspondência de idioma#
Os avaliadores de IA correspondem às solicitações de tradução pelo idioma de origem e pelo idioma de destino. O curinga * corresponde a qualquer idioma.
| idioma de origem | idioma de destino | Correspondência |
|---|---|---|
en | de | Apenas traduções de inglês → alemão |
en | * | Qualquer tradução a partir do inglês |
* | ja | Qualquer tradução para japonês |
* | * | Todas as traduções |
Uma única solicitação de tradução pode acionar vários avaliadores de IA se mais de um corresponder ao seu par de idioma.
Sampling#
Nem toda tradução precisa ser revisada. A taxa de sampling controla que percentual das solicitações correspondentes será avaliado.
| Sampling | Comportamento |
|---|---|
| 100% | Toda solicitação correspondente é revisada (mais completo, mas com custo maior) |
| 50% | Aproximadamente metade das solicitações correspondentes é revisada |
| 10% | Uma em cada dez — útil para engines de alto volume, em que as tendências importam mais do que as pontuações individuais |
| 0% | O avaliador de IA fica efetivamente pausado sem precisar ser desativado |
O sampling é aplicado no momento da solicitação com uma verificação aleatória. Com um volume suficiente de solicitações, a taxa real de avaliação converge para o percentual configurado.
Suporte a N/A#
Quando allowsNA está ativado, o LLM de revisão pode retornar "não aplicável" em vez de uma pontuação. Isso é útil para avaliadores de IA cujos critérios não se aplicam a todos os pares de idioma.
Exemplo: Um avaliador de IA que verifica convenções de tratamento formal retorna N/A para traduções de inglês → inglês (o inglês não tem distinção entre formal e informal), mas retorna uma pontuação para inglês → alemão.
Resultados N/A são excluídos das médias e das taxas de aprovação nos relatórios — eles não reduzem nem inflam as pontuações.
Justificativa#
Os avaliadores de IA fornecem justificativas para resultados imperfeitos para ajudar você a entender o que deu errado:
- Pontuação perfeita (aprovação ou 100%) — a justificativa é nula (não há nada a explicar)
- N/A — a justificativa é nula
- Pontuação imperfeita — uma breve explicação em uma frase
Isso torna os resultados da revisão acionáveis: quando uma tradução falha em uma verificação, a justificativa mostra o motivo sem exigir investigação manual.
Modelo de revisão#
Cada avaliador de IA tem sua própria configuração de provedor e modelo de LLM, independente do modelo de tradução. Essa separação é intencional — o modelo que produz a tradução não deve ser o mesmo que a avalia.
Independência do modelo
Usar um modelo diferente para a revisão e para a tradução fornece uma avaliação independente. Se o GPT-4o produzir a tradução, avaliá-la com Claude Sonnet oferece uma segunda opinião em vez de uma autoavaliação.
Relatórios de avaliadores de IA#
Os resultados da revisão são exibidos no dashboard, na seção de relatórios de avaliadores de IA, mostrando:
- Taxas de aprovação ao longo do tempo — para avaliadores de IA booleanos, exibidas como percentuais diários
- Pontuações médias ao longo do tempo — para avaliadores de IA percentuais, exibidas como médias diárias
- Detalhamento por par de idioma — veja como cada par origem → destino performa de forma independente
- Visão agregada — combine todos os pares de idioma em uma única linha de tendência
Os relatórios de avaliadores de IA complementam os Reports focados em volume — juntos, eles oferecem uma visão completa de throughput e qualidade.
Gerenciando avaliadores de IA via MCP#
Se você usa o Lingo.dev MCP server, seu assistente de programação com IA pode criar e configurar avaliadores de IA diretamente:
"Create a boolean AI reviewer for all locale pairs that checks
whether HTML tags are preserved in translations.""Add a percentage AI reviewer for English to German that rates
translation fluency on a 0-100 scale, sampling 50% of requests."