Medições integradas
Entenda as verificações integradas de qualidade e edição: os dados de entrada, os algoritmos, as escalas de resposta e o comportamento quando faltam evidências.
As medições integradas respondem a perguntas específicas sobre uma tradução ou edição. A taxa de edição verifica se dois textos são diferentes. A conformidade com o glossário verifica se os termos relevantes foram aplicados. Esses valores são úteis em conjunto quando cada um preserva seu próprio significado; eles não compõem uma escala universal de qualidade.
Ative essas verificações em Medições. A conformidade com o glossário e com as regras também pode ser ativada individualmente em cada engine, na aba Avaliadores, conforme descrito em Revisar traduções do Lingo.dev. Esta referência explica o que cada verificação calcula e quais evidências podem fundamentar sua resposta.
MQM #
O MQM pede a um modelo que liste apenas os erros da tradução, nunca uma pontuação. Para cada erro, ele retorna as palavras exatas que estão erradas, uma das sete dimensões do MQM Core (precisão, terminologia, convenções linguísticas, estilo, convenções do idioma, adequação ao público, design e marcação), um nível de gravidade (neutra, leve, grave ou crítica) e uma linha explicando o problema. Quando o evento identifica um engine de localização, o modelo também recebe as orientações atuais desse engine: a voz da marca para o idioma, as regras e os termos do glossário usados no texto de origem, além do contexto da solicitação.
O MQM também avalia alterações na tradução: toda criação e atualização de texto de destino, independentemente de quem a fez. No Zendesk e no GitHub, uma versão escrita pelo Lingo.dev, conforme a definição usada para a taxa de edição abaixo, é avaliada com base na voz da marca, nas regras e nos termos do glossário usados para produzi-la, e a resposta identifica a tarefa que a gerou. Qualquer outra versão, como uma edição humana, uma reversão, uma tradução de outra ferramenta ou uma alteração no Crowdin, é avaliada sem as orientações de nenhum engine. O campo isLingoRecord da resposta distingue os dois casos: false para essas outras versões e true para todas as demais respostas, inclusive localizações concluídas, para que o Explorar possa comparar as traduções do Lingo.dev com as demais. As alterações na tradução não identificam nenhum engine, por isso uma condição de MQM limitada a engines retorna N/A para elas.
A pontuação resulta de um cálculo sobre essa lista. Erros cujas palavras não aparecem na tradução são descartados. Cada erro restante recebe peso 0 para gravidade neutra, 1 para leve, 5 para grave ou 25 para crítica, e o total é normalizado por 100 palavras do texto de origem:
max(0, 100 − 100 × summed error weights / source word count)100 significa ausência de erros. A mesma fórmula fornece uma pontuação por dimensão. As palavras do texto de origem são contadas nos valores de texto, não nas chaves; em sistemas de escrita sem espaços, como chinês, japonês, coreano e tailandês, cada caractere conta como uma palavra. Um texto de origem sem palavras recebe a resposta N/A sem que o modelo seja consultado.
O MQM é executado em eventos de localização concluída e em criações e atualizações de textos de destino. A conformidade com o glossário e com as regras é configurada para eventos de localização concluída. A taxa de edição, a distância de edição e os padrões de edição são executados em criações e atualizações de textos de destino. Os tipos permitidos para as medições integradas são definidos pela plataforma; verifique as configurações atuais da medição ao ativá-la.
Taxa de edição #
A taxa de edição compara uma alteração no texto de destino com a versão anterior da string: a última criação ou atualização de texto de destino registrada antes da alteração para a mesma string e o mesmo idioma ou, quando não há registro, o texto anterior à alteração fornecido pelo evento. Antes da comparação, ela remove os espaços em branco do início e do fim e substitui cada sequência interna de espaços em branco por um único espaço. Uma string sem versão anterior é considerada inalterada.
Quando o próprio Lingo.dev escreve as traduções, as três medições de edição fornecem respostas para cada versão escrita pelo Lingo.dev e para a alteração que uma pessoa faz nela. O Lingo.dev registra cada tradução que entrega: o que a sincronização grava no Zendesk ou envia em commits para o GitHub e o que a API, a CLI e a CI retornam. Uma versão é considerada do Lingo.dev quando foi gravada pelo próprio Lingo.dev, identificada pelo commit ou pelo horário registrado pelo Zendesk, ou quando contém a tradução mais recente que o Lingo.dev entregou para a string antes dessa versão, como uma tradução produzida pela CLI. Cada tradução é contada uma única vez, na primeira versão que a contém: uma versão que a restaura após uma alteração humana é considerada uma reversão feita por essa pessoa.
Nesses casos, uma versão escrita pelo Lingo.dev sempre recebe a resposta inalterada: taxa de edição false e distância de edição 0, enquanto a resposta de padrões de edição é não aplicável. Uma versão feita por uma pessoa imediatamente após uma versão escrita pelo Lingo.dev é comparada com ela: taxa de edição true, a distância da alteração e seus padrões de edição. Se a pessoa manteve o texto do Lingo.dev, desconsiderando os espaços em branco, a alteração recebe a resposta não aplicável (“A pessoa manteve o texto do Lingo.dev”); o mesmo vale para uma alteração em uma versão que o Lingo.dev não escreveu ou quando não há versão registrada (“O Lingo.dev não escreveu a versão anterior a esta”), incluindo edições posteriores da pessoa e sua reversão para o texto do Lingo.dev. Assim, cada false representa uma tradução escrita pelo Lingo.dev, e cada true representa uma tradução alterada por uma pessoa: a taxa de edição é o número de respostas true dividido pelo número de respostas false, de modo que 5 traduções alteradas entre 100 escritas pelo Lingo.dev resultam em 5%. Da mesma forma, a distância média de edição por tradução escrita pelo Lingo.dev é a soma das distâncias das alterações dividida pelo número de versões do Lingo.dev.
Em outras fontes, como o Crowdin, o Lingo.dev não escreve traduções. Por isso, uma alteração é comparada com a versão anterior, independentemente de quem criou cada uma.
| Resposta | Significado |
|---|---|
true | Os textos normalizados são diferentes; no Zendesk e no GitHub, uma pessoa alterou a versão do Lingo.dev. |
false | Os textos normalizados são iguais, ou a string não tem versão anterior fora do Zendesk e do GitHub; no Zendesk e no GitHub, o Lingo.dev escreveu esta versão. |
| N/A | No Zendesk e no GitHub, a pessoa manteve o texto do Lingo.dev, ou o Lingo.dev não escreveu a versão anterior a esta. |
Por exemplo, a comparação entre Save changes e Save changes indica que não houve alteração. Já a comparação entre Save changes e Apply changes indica que houve edição. Nenhum dos resultados determina qual redação é melhor.
Se o rascunho existe, mas o campo de destino está ausente, a implementação compara o rascunho com um destino vazio. Verifique as evidências do evento antes de tratar isso como uma edição humana concluída. Ao analisar um conjunto, apresente a proporção de comparações com edição em relação às comparações utilizáveis entre rascunho e destino e mantenha visíveis as comparações ausentes.
Distância de edição #
A distância de edição calcula a distância de Levenshtein entre os textos originais, sem normalização: o número de inserções, exclusões e substituições necessárias para transformar um no outro. Em seguida, divide essa distância pelo comprimento do texto mais longo e multiplica por 100.
Zero significa que os textos são idênticos. Quanto maior o valor, maior a alteração textual. Duas strings vazias produzem zero, assim como uma string sem versão anterior. Um destino ausente é tratado como vazio, como na taxa de edição.
A implementação compara unidades de código UTF-16, não palavras nem caracteres percebidos pelo usuário. Ela desconsidera os trechos iniciais e finais que os dois textos têm em comum. Se as partes diferentes ainda formarem mais de cerca de 3,2 bilhões de pares de caracteres, como dois textos sem relação entre si com 57.000 caracteres cada, a resposta será não aplicável, com o motivo “Os textos são longos demais para comparar”. Os espaços em branco podem contribuir para a distância de edição mesmo quando a taxa de edição considera o par inalterado. Uma alteração de uma unidade também pesa mais no percentual de uma string curta do que no de uma longa.
Use as duas medições de edição em conjunto para distinguir pequenas alterações frequentes de reescritas extensas ocasionais. Fora do Zendesk e do GitHub, verifique primeiro quais versões estão sendo comparadas: a versão anterior pode ser uma edição anterior, e não a tradução entregue. Nenhuma das medições determina os erros corrigidos, o tempo gasto ou o ganho de qualidade.
Ao agregar a distância, informe o cálculo usado. A média dos percentuais por par dá o mesmo peso a cada par; dividir a distância bruta total pelo comprimento total das comparações dá mais peso aos textos longos. A resposta de um evento individual não define qual dessas fórmulas usar.
Conformidade com o glossário #
A conformidade com o glossário compara os textos de origem e de destino com os termos vinculados ao engine de localização no momento da avaliação. Ela exige texto de origem, texto de destino e a identificação de um engine de localização. São selecionados os termos vinculados cujo idioma de destino corresponde ao da tradução e cujo texto de origem aparece no texto de origem da tradução. Essa busca verifica a presença de trechos de texto sem diferenciar maiúsculas de minúsculas.
O avaliador analisa cada termo fornecido. Suas instruções permitem a flexão gramatical natural das traduções personalizadas, exigem que termos não traduzíveis permaneçam inalterados, permitem uma tradução padrão quando uma indicação de contexto claramente não se aplica e aceitam uma entre várias entradas conflitantes para o mesmo termo. Portanto, uma pontuação alta não demonstra que definições conflitantes no glossário sejam uma boa prática.
A pontuação é:
returned findings marked applied / all returned term findings × 100Esse cálculo conta as constatações retornadas, não cada ocorrência de um termo nem cada entrada no glossário da organização. Os termos não aplicados entram na explicação. Se o avaliador não retornar constatações, a resposta será concluída sem uma pontuação determinada.
A ausência de campos obrigatórios, de um engine de localização correspondente, de termos vinculados ou de termos selecionados no texto de origem pode gerar N/A antes que o avaliador seja executado. Leia o motivo. Um termo realmente irrelevante não precisa de avaliação; já uma mensagem que deveria ter evidências de terminologia continua com uma lacuna de evidências.
Esta medição consulta as orientações atuais, tanto em eventos em tempo real quanto no processamento retroativo. Ela não reconstrói o glossário usado durante a geração. Solicitações mostra o lote de origem e as tentativas do modelo, sem um registro completo do prompt ou do glossário. Salve o contexto enviado e as definições dos termos relevantes antes de comparar avaliações de eventos históricos; depois, use Glossários para as alterações de terminologia aceitas.
Conformidade com regras #
A conformidade com regras usa o texto de origem, o texto de destino, a identificação de um engine de localização e as regras atualmente vinculadas que se aplicam ao idioma de destino. O avaliador retorna uma constatação por regra fornecida: seguida, não seguida ou nula quando a regra não se aplica.
A pontuação é:
returned findings marked followed / returned non-null rule findings × 100As constatações nulas sobre regras são excluídas. Se todas as constatações retornadas forem nulas, o avaliador poderá concluir sem uma pontuação geral. Já a ausência de evidências de origem, destino ou engine de localização pode impedir a execução do avaliador. Ambos os casos podem aparecer como N/A, por isso verifique o motivo e as evidências de execução disponíveis.
Leia a regra não seguida e as palavras a que ela se refere antes de alterar a tradução. Uma regra ambígua ou contraditória pode precisar de esclarecimento em Regras. Assim como na conformidade com o glossário, a avaliação de eventos históricos usa as orientações atualmente vinculadas, e não um registro das orientações no momento da geração.
Padrões de edição #
A análise de padrões de edição pede a um modelo que classifique as alterações entre o rascunho e o texto de destino. Ela pode atribuir várias categorias a uma única comparação:
| Rótulo | Alteração descrita |
|---|---|
register | Formalidade ou cortesia. |
word_choice | Redação diferente com o mesmo significado. |
terminology | Um termo do produto ou da área. |
reordering | Ordem das palavras ou orações. |
grammar | Concordância, caso, tempo verbal ou outros aspectos gramaticais. |
punctuation | Pontuação ou espaçamento. |
addition | Inclusão de significado omitido no rascunho. |
omission | Remoção de significado acrescentado pelo rascunho. |
mistranslation | Mudança na interpretação do significado. |
formatting | Marcadores de posição, marcação, uso de maiúsculas e minúsculas ou números. |
O classificador ignora strings sem versão anterior e textos que ficam iguais após a normalização dos espaços em branco. Seus rótulos descrevem possíveis tipos de alteração, não defeitos ou economia de tempo confirmados de forma independente.
Atualmente, os fluxos de consulta da lista de resultados e dos detalhes retornam apenas respostas booleanas e numéricas. Embora o contrato de detalhes tenha um campo answer para dados estruturados, esses fluxos ainda não retornam os registros JSON armazenados de padrões de edição. Use as comparações de edição acessíveis e o texto inspecionado, em vez de esperar uma exportação categorizada dessas operações.
Uso e interpretação #
A taxa de edição e a distância de edição calculam respostas sem gastos com LLM. As medições executadas com sucesso têm contabilização de consumo separada, portanto custo zero com o modelo não significa medição gratuita. Custos explica os limites dessa contabilização; Resultados explica as respostas nulas e a cobertura.