As avaliações por IA são verificações de qualidade automáticas que avaliam as traduções produzidas pelo seu motor de localização. Após cada pedido de tradução, a Lingo.dev executa avaliações independentes com LLM para verificar o resultado — confirmando a conformidade com o glossário, o cumprimento das instruções e quaisquer critérios personalizados que definir. As avaliações decorrem de forma assíncrona e nunca bloqueiam a resposta da tradução.
Como funciona#
Quando o motor de localização conclui um pedido de tradução, coloca em fila as revisões aplicáveis para avaliação assíncrona. Cada revisão executa um LLM independente que recebe o texto de origem, o texto traduzido, o contexto e os critérios de avaliação. Devolve um resultado estruturado — aprovação/reprovação ou uma pontuação percentual — com justificação para resultados imperfeitos.
O separador Reviews do motor controla que revisões são executadas para esse motor. Existem três categorias:
| Categoria | O que verifica | Tipo de resultado | Configuração |
|---|---|---|---|
| avaliação por IA de itens do glossário | Se as traduções seguem as regras do glossary do motor | Aprovação / Reprovação | Interruptor integrado por motor |
| avaliação por IA de instruções | Se as traduções seguem cada uma das instructions do motor | Aprovação / Reprovação por instrução | Interruptor integrado por motor |
| avaliadores de IA personalizados | Os seus próprios critérios de avaliação, definidos ao nível da organização | Aprovação / Reprovação ou 0–100% | Selecionáveis por motor a partir dos avaliadores definidos ao nível da organização |
avaliações por IA integradas#
Cada motor de localização inclui dois tipos de revisão integrados que verificam as traduções com base na configuração do próprio motor. Pode ativá-los ou desativá-los no separador Reviews do motor.
avaliação por IA de itens do glossário#
Verifica se a tradução cumpriu todas as regras de glossário aplicáveis. Se o motor tiver traduções personalizadas (por exemplo, "Deploy" → "Bereitstellen") ou termos não traduzíveis (por exemplo, "OAuth"), a revisão confirma que a tradução os respeitou.
A revisão tem em conta variações gramaticais — uma regra de glossário para um termo num determinado caso gramatical aplica-se a todas as formas desse termo. Se existirem regras de glossário em conflito, a tradução é considerada conforme desde que uma delas tenha sido seguida.
O resultado é um único veredicto de aprovação/reprovação para todo o pedido de tradução, com justificação quando o resultado é uma reprovação.
avaliação por IA de instruções#
Avalia cada instrução de forma independente. Se o motor tiver três instruções, a revisão produz três veredictos de aprovação/reprovação separados — cada um com a sua própria justificação quando o resultado é uma reprovação.
Uma instrução pode devolver N/A quando os seus critérios não se aplicam ao conteúdo que está a ser traduzido. Por exemplo, uma instrução sobre tratamento formal devolve N/A quando a tradução contém apenas um nome de produto ou um termo técnico em que a formalidade é irrelevante. Os resultados N/A são excluídos das pontuações agregadas.
Ambas as revisões integradas só são acionadas quando o motor tem configuração relevante — se nenhum item do glossário corresponder ao par de idiomas, não é executada qualquer avaliação por IA de itens do glossário.
Configurar revisões por motor#
Abra o separador Reviews do motor para controlar que revisões são executadas para esse motor. O separador tem duas secções:
Os interruptores integrados no topo controlam a avaliação por IA de itens do glossário e a avaliação por IA de instruções. São independentes — pode ativar uma sem a outra, consoante o que o motor tiver configurado.
Os avaliadores de IA personalizados abaixo dos interruptores listam todos os avaliadores de IA definidos ao nível da organização. Ative ou desative cada um deles para esse motor específico. Isto permite-lhe manter uma biblioteca partilhada de verificações de qualidade e aplicá-las de forma seletiva.
Um único motor pode ter, em simultâneo, revisões integradas e vários avaliadores de IA personalizados em execução. Todas as revisões decorrem de forma assíncrona após cada pedido de tradução, e os resultados aparecem no registo de tradução e em Reports.
Tipos de avaliador de IA#
Avaliadores de IA booleanos#
Devolvem um veredicto binário: aprovação ou reprovação. Utilize-os para regras que ou são cumpridas ou não.
Exemplos:
- "A tradução preserva todas as etiquetas e atributos HTML?"
- "As regras de pluralização são aplicadas corretamente ao idioma de destino?"
- "A tradução usa tratamento formal (Sie) em alemão?"
Os resultados são agregados como taxas de aprovação — 75% significa que 3 em cada 4 traduções avaliadas foram aprovadas.
Avaliadores de IA percentuais#
Devolvem uma pontuação de 0 a 100. Utilize-os para dimensões de qualidade que existem num espectro.
Exemplos:
- "Avalie a naturalidade da tradução para um falante nativo (0–100)"
- "Pontue até que ponto a tradução preserva o tom e a intenção originais (0–100)"
- "Avalie a correção gramatical numa escala de 0–100"
Os resultados são agregados como médias ao longo do período de avaliação.
Configuração do avaliador de IA#
| Campo | Descrição |
|---|---|
| Nome | Um rótulo que identifica o avaliador de IA (por exemplo, "Verificação de pluralização") |
| Instrução | Os critérios de avaliação, escritos em linguagem natural |
| Tipo | boolean (aprovação/reprovação) ou percentage (0–100) |
| Idioma de origem | O idioma de origem a corresponder, ou * para qualquer um |
| Idioma de destino | O idioma de destino a corresponder, ou * para qualquer um |
| Fornecedor / Modelo | O LLM usado para avaliação (independente do modelo de tradução) |
| Amostragem | Percentagem de pedidos a avaliar (0–100%) |
| Permitir N/A | Se o avaliador de IA pode devolver "não aplicável" para pares irrelevantes |
| Ativado | Ativa ou desativa a revisão sem eliminar a configuração |
Escrever instruções para avaliadores de IA#
O campo de instrução é o núcleo de um avaliador de IA. Diz ao LLM de avaliação exatamente o que verificar. Escreva-o como um critério específico e testável.
Boas instruções#
Booleano:
Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.Percentagem:
Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.O que torna uma instrução eficaz#
- Critérios específicos — defina exatamente o que significa aprovação/reprovação, ou o que representam 0 e 100
- Resultados observáveis — o LLM deve conseguir avaliar lendo o texto, sem adivinhar a intenção
- Uma preocupação por avaliador de IA — divida verificações de qualidade multidimensionais em avaliadores de IA separados
Correspondência de idiomas#
Os avaliadores de IA correspondem aos pedidos de tradução por idioma de origem e idioma de destino. O wildcard * corresponde a qualquer idioma.
| Idioma de origem | Idioma de destino | Corresponde a |
|---|---|---|
en | de | Apenas traduções de inglês → alemão |
en | * | Qualquer tradução a partir de inglês |
* | ja | Qualquer tradução para japonês |
* | * | Todas as traduções |
Um único pedido de tradução pode acionar vários avaliadores de IA se houver vários que correspondam ao seu par de idiomas.
Amostragem#
Nem todas as traduções precisam de ser revistas. A taxa de amostragem controla que percentagem dos pedidos correspondentes é avaliada.
| Amostragem | Comportamento |
|---|---|
| 100% | Todos os pedidos correspondentes são revistos (mais exaustivo, mas com custo mais elevado) |
| 50% | Cerca de metade dos pedidos correspondentes são revistos |
| 10% | Um em cada dez — útil para motores com grande volume, em que as tendências importam mais do que as pontuações individuais |
| 0% | O avaliador de IA fica efetivamente em pausa sem ser desativado |
A amostragem é aplicada no momento do pedido através de uma verificação aleatória. Com um volume suficiente de pedidos, a taxa real de avaliação converge para a percentagem configurada.
Suporte para N/A#
Quando allowsNA está ativado, o LLM de revisão pode devolver "não aplicável" em vez de uma pontuação. Isto é útil para avaliadores de IA cujos critérios não se aplicam a todos os pares de idiomas.
Exemplo: Um avaliador de IA que verifica convenções de tratamento formal devolve N/A para traduções de inglês → inglês (o inglês não tem distinção formal/informal), mas devolve uma pontuação para inglês → alemão.
Os resultados N/A são excluídos das médias e das taxas de aprovação nos relatórios — não fazem descer nem inflacionam as pontuações.
Justificação#
Os avaliadores de IA fornecem justificação para resultados imperfeitos, para o ajudar a perceber o que correu mal:
- Pontuação perfeita (aprovação ou 100%) - a justificação é nula (não há nada a explicar)
- N/A - a justificação é nula
- Pontuação imperfeita - uma breve explicação numa única frase
Isto torna os resultados da revisão acionáveis: quando uma tradução falha uma verificação, a justificação diz-lhe porquê sem necessidade de investigação manual.
Modelo de revisão#
Cada avaliador de IA tem a sua própria configuração de fornecedor e modelo LLM, independente do modelo de tradução. Esta separação é intencional — o modelo que produz a tradução não deve ser o mesmo modelo que a avalia.
Independência do modelo
Usar um modelo diferente para a revisão e para a tradução permite uma avaliação independente. Se o GPT-4o produzir a tradução, avaliá-la com Claude Sonnet dá-lhe uma segunda opinião em vez de uma autoavaliação.
Relatórios do avaliador de IA#
Os resultados da revisão são visualizados no dashboard, na secção de relatórios do avaliador de IA, mostrando:
- Taxas de aprovação ao longo do tempo - para avaliadores de IA booleanos, apresentadas como percentagens diárias
- Pontuações médias ao longo do tempo - para avaliadores de IA percentuais, apresentadas como médias diárias
- Desagregação por par de idiomas - veja como cada par origem → destino se comporta de forma independente
- Vista agregada - combine todos os pares de idiomas numa única linha de tendência
Os relatórios do avaliador de IA complementam os Reports focados no volume — em conjunto, dão-lhe uma visão completa tanto do débito como da qualidade.
Gerir avaliadores de IA via MCP#
Se utiliza o Lingo.dev MCP server, o seu assistente de programação com IA pode criar e configurar avaliadores de IA diretamente:
"Create a boolean AI reviewer for all locale pairs that checks
whether HTML tags are preserved in translations.""Add a percentage AI reviewer for English to German that rates
translation fluency on a 0-100 scale, sampling 50% of requests."