Medições integradas
Compreenda as verificações integradas de qualidade e edição: os dados de entrada, os algoritmos, as escalas de resposta e o comportamento quando faltam evidências.
As medições integradas respondem a perguntas específicas sobre uma tradução ou edição. A taxa de edição verifica se dois textos diferem. A conformidade com o glossário verifica se os termos relevantes foram aplicados. Estes valores são úteis em conjunto desde que cada um mantenha o seu próprio significado; não constituem uma escala universal de qualidade.
Ative estas verificações em Medições; também pode ativar a conformidade com o glossário e com as regras para cada motor, no respetivo separador Avaliadores, conforme descrito em Rever traduções do Lingo.dev. Esta referência explica o que cada medição calcula e que evidências podem sustentar a resposta.
MQM #
A MQM pede a um modelo que liste apenas os erros da tradução, nunca uma pontuação. Para cada erro, devolve as palavras exatas que estão erradas, uma das sete dimensões do MQM Core (exatidão, terminologia, convenções linguísticas, estilo, convenções do idioma, adequação ao público, design e marcação), um nível de gravidade (neutro, ligeiro, grave ou crítico) e uma linha a explicar o problema. Quando o evento identifica um motor de localização, o modelo também recebe as orientações atuais desse motor: a voz da marca para o idioma, as regras e os termos do glossário usados no texto de origem, juntamente com o contexto do pedido.
A MQM também avalia alterações às traduções: cada criação e atualização do texto de destino, independentemente de quem a fez. No Zendesk e no GitHub, uma versão escrita pelo Lingo.dev, segundo a definição apresentada abaixo para a taxa de edição, é avaliada com base na voz da marca, nas regras e nos termos do glossário usados na sua tradução, e a resposta identifica a tarefa que a produziu. Qualquer outra versão, como uma edição feita por uma pessoa, uma reversão, uma tradução de outra ferramenta ou uma alteração no Crowdin, é avaliada sem as orientações de qualquer motor. O campo isLingoRecord da resposta distingue os dois casos: false para essas outras versões e true para todas as restantes respostas, incluindo localizações concluídas, para que o Explore possa comparar as traduções do Lingo.dev com as restantes. As alterações às traduções não identificam nenhum motor, pelo que uma condição de MQM limitada a motores devolve N/A para essas alterações.
A pontuação resulta de um cálculo aritmético sobre essa lista. Os erros cujas palavras não aparecem na tradução são excluídos. Cada erro restante tem um peso de 0 para gravidade neutra, 1 para ligeira, 5 para grave ou 25 para crítica, e o total é normalizado por 100 palavras do texto de origem:
max(0, 100 − 100 × summed error weights / source word count)100 significa que não há erros. A mesma fórmula fornece uma pontuação por dimensão. As palavras do texto de origem são contadas nos valores de texto, não nas respetivas chaves; nos sistemas de escrita sem espaços, como o chinês, o japonês, o coreano e o tailandês, conta-se uma palavra por caráter. Um texto de origem sem palavras recebe a resposta N/A sem que o modelo seja consultado.
A MQM é executada em eventos de localização concluída e em criações e atualizações do texto de destino. A conformidade com o glossário e a conformidade com as regras são configuradas para eventos de localização concluída. A taxa de edição, a distância de edição e os padrões de edição são executados em criações e atualizações do texto de destino. Os tipos permitidos para as medições integradas são definidos pela plataforma; consulte as definições atuais da medição ao ativá-la.
Taxa de edição #
A taxa de edição compara uma alteração do texto de destino com a versão anterior da cadeia: a criação ou atualização do texto de destino imediatamente anterior para a mesma cadeia e o mesmo idioma ou, quando não existe nenhum registo, o texto anterior à alteração incluído no evento. Antes da comparação, remove os espaços em branco no início e no fim e substitui cada sequência interna de espaços em branco por um único espaço. Uma cadeia sem versão anterior é considerada inalterada.
Quando o próprio Lingo.dev escreve as traduções, as três medições de edição produzem uma resposta para cada versão escrita pelo Lingo.dev e para a alteração que uma pessoa lhe faz. O Lingo.dev regista cada tradução que entrega: o que a sincronização escreve no Zendesk ou regista num commit no GitHub, e o que a API, a CLI e a CI devolvem. Uma versão é considerada do Lingo.dev quando foi escrita pelo próprio Lingo.dev, o que é identificado pelo respetivo commit ou pela data e hora atribuídas pelo Zendesk, ou quando contém a tradução mais recente que o Lingo.dev entregou para a cadeia antes dessa versão, como uma tradução produzida pela CLI. Cada tradução é contabilizada uma única vez, na primeira versão que a contém: uma versão que a repõe após uma alteração feita por uma pessoa é uma reversão dessa pessoa.
Nesses casos, uma versão escrita pelo Lingo.dev é sempre considerada inalterada: taxa de edição false e distância de edição 0, enquanto os padrões de edição recebem a resposta não aplicável. Uma versão criada por uma pessoa imediatamente a seguir a uma versão escrita pelo Lingo.dev é comparada com esta: taxa de edição true, a distância da alteração e os respetivos padrões de edição. Se a pessoa manteve o texto do Lingo.dev, salvo diferenças nos espaços em branco, a alteração recebe a resposta não aplicável («A pessoa manteve o texto do Lingo.dev»); o mesmo se aplica a uma alteração de uma versão que o Lingo.dev não escreveu, ou quando não existe uma versão registada («O Lingo.dev não escreveu a versão anterior a esta»), incluindo as edições posteriores dessa pessoa e a sua reversão para o texto do Lingo.dev. Assim, cada false representa uma tradução escrita pelo Lingo.dev e cada true uma tradução alterada por uma pessoa: a taxa de edição é o número de respostas true dividido pelo número de respostas false, pelo que 5 traduções alteradas em 100 traduções escritas pelo Lingo.dev correspondem a 5%. Do mesmo modo, a distância média de edição por tradução escrita pelo Lingo.dev é a soma das distâncias das alterações dividida pelo número de versões do Lingo.dev.
Noutras fontes, como o Crowdin, o Lingo.dev não escreve traduções, pelo que cada alteração é comparada com a versão anterior, independentemente de quem produziu cada uma.
| Resposta | Significado |
|---|---|
true | Os textos normalizados diferem; no Zendesk e no GitHub, uma pessoa alterou a versão do Lingo.dev. |
false | Os textos normalizados coincidem, ou a cadeia não tem uma versão anterior fora do Zendesk e do GitHub; no Zendesk e no GitHub, o Lingo.dev escreveu esta versão. |
| N/A | No Zendesk e no GitHub, a pessoa manteve o texto do Lingo.dev, ou o Lingo.dev não escreveu a versão anterior a esta. |
Por exemplo, a comparação entre Save changes e Save changes indica que não houve alterações. A comparação entre Save changes e Apply changes indica que houve uma edição. Nenhum dos resultados determina qual é a melhor formulação.
Se o rascunho existir, mas o campo de destino estiver ausente, a implementação compara o rascunho com um texto de destino vazio. Verifique as evidências do evento antes de considerar esse caso uma edição humana concluída. Num conjunto de dados, apresente a proporção de comparações com edições face às comparações utilizáveis entre rascunho e texto de destino e mantenha visíveis as comparações em falta.
Distância de edição #
A distância de edição calcula a distância de Levenshtein entre os textos originais, sem normalização: o número de inserções, eliminações e substituições necessárias para transformar um no outro. Divide essa distância pelo comprimento do texto mais longo e multiplica por 100.
Zero significa que o texto é idêntico. Um valor mais elevado significa uma maior alteração textual. Duas cadeias vazias produzem zero, tal como uma cadeia sem versão anterior. Um texto de destino ausente é tratado como vazio, à semelhança do que acontece na taxa de edição.
A implementação compara unidades de código UTF-16, não palavras nem carateres tal como são percecionados pelas pessoas. Ignora o início e o fim comuns aos dois textos; quando as partes diferentes ainda geram mais de cerca de 3,2 mil milhões de pares de carateres, como dois textos sem relação entre si com 57 000 carateres cada, a resposta é não aplicável, com o motivo «Os textos são demasiado longos para comparar». Os espaços em branco podem contribuir para a distância de edição mesmo quando a taxa de edição considera o par inalterado. Uma alteração de uma unidade também tem um peso percentual maior numa cadeia curta do que numa cadeia longa.
Utilize as duas medições de edição em conjunto para distinguir pequenas alterações frequentes de reformulações extensas ocasionais. Fora do Zendesk e do GitHub, verifique primeiro o emparelhamento: a versão anterior pode ser uma edição anterior, e não a tradução entregue. Nenhuma das medições permite determinar os erros corrigidos, o tempo gasto ou a melhoria da qualidade.
Ao agregar a distância, indique o cálculo utilizado. A média das percentagens por par atribui o mesmo peso a cada par; dividir a distância bruta total pelo comprimento total das comparações atribui mais peso aos textos mais longos. A resposta de um evento individual não determina qual destas fórmulas usar.
Conformidade com o glossário #
A conformidade com o glossário compara os textos de origem e de destino com os termos associados ao motor de localização no momento da avaliação. Requer o texto de origem, o texto de destino e a identificação de um motor de localização. Seleciona os termos associados cujo idioma de destino corresponde ao da tradução e cujo texto de origem aparece no texto de origem da tradução, através de uma pesquisa de subcadeias sem distinção entre maiúsculas e minúsculas.
O avaliador analisa cada termo fornecido. As instruções permitem a flexão gramatical natural de traduções personalizadas, exigem que os termos não traduzíveis permaneçam inalterados, permitem uma tradução habitual quando uma indicação de contexto claramente não se aplica e aceitam uma de várias entradas contraditórias para o mesmo termo. Por isso, uma pontuação elevada não demonstra que manter definições contraditórias no glossário seja uma boa prática.
A pontuação é:
returned findings marked applied / all returned term findings × 100Este cálculo conta os resultados devolvidos, não todas as ocorrências de um termo nem todas as entradas do glossário da organização. Os termos não aplicados são incluídos na explicação. Se o avaliador não devolver resultados, a resposta concluída fica sem uma pontuação definida.
A ausência de campos obrigatórios, a inexistência de um motor de localização correspondente ou de termos associados e a ausência de termos selecionados no texto de origem podem produzir N/A antes da execução do avaliador. Leia o motivo. Um termo verdadeiramente irrelevante não precisa de avaliação; uma mensagem que deveria ter evidências terminológicas continua a apresentar uma lacuna nessas evidências.
Esta medição consulta as orientações atuais, tanto em eventos em tempo real como no processamento retroativo. Não reconstitui o glossário utilizado durante a geração. Pedidos mostra o lote de origem e as tentativas do modelo, sem um registo completo do pedido enviado ao modelo ou do glossário. Guarde o contexto enviado e as definições dos termos relevantes antes de comparar avaliações de eventos históricos e, depois, utilize Glossários para as alterações terminológicas aceites.
Conformidade com as regras #
A conformidade com as regras utiliza o texto de origem, o texto de destino, a identificação de um motor de localização e as regras atualmente associadas que se aplicam ao idioma de destino. O avaliador devolve um resultado por regra fornecida: cumprida, não cumprida ou nulo quando a regra não se aplica.
A pontuação é:
returned findings marked followed / returned non-null rule findings × 100Os resultados nulos das regras são excluídos. Se todos os resultados devolvidos forem nulos, o avaliador pode concluir a avaliação sem uma pontuação global. Por outro lado, a falta de evidências relativas ao texto de origem, ao texto de destino ou ao motor de localização pode impedir a execução do avaliador. Ambos os casos podem aparecer como N/A, pelo que deve consultar o motivo e as evidências de execução disponíveis.
Leia a regra não cumprida e as palavras a que se refere antes de alterar a tradução. Uma regra ambígua ou contraditória pode precisar de esclarecimento em Regras. Tal como na conformidade com o glossário, a avaliação de eventos históricos utiliza as orientações atualmente associadas, e não um registo das orientações em vigor no momento da geração.
Padrões de edição #
A análise de padrões de edição pede a um modelo que classifique as alterações entre o rascunho e o texto de destino. Pode atribuir várias categorias à mesma comparação:
| Etiqueta | Alteração descrita |
|---|---|
register | Formalidade ou cortesia. |
word_choice | Formulação diferente com o mesmo significado. |
terminology | Um termo de produto ou de uma área de especialidade. |
reordering | Ordem das palavras ou das orações. |
grammar | Concordância, caso, tempo verbal ou outros aspetos gramaticais. |
punctuation | Pontuação ou espaçamento. |
addition | Adição de significado omitido no rascunho. |
omission | Remoção de significado acrescentado no rascunho. |
mistranslation | Uma interpretação diferente do significado. |
formatting | Marcadores de posição, marcação, uso de maiúsculas e minúsculas ou números. |
O classificador ignora cadeias sem versão anterior e textos que coincidem após a normalização dos espaços em branco. As etiquetas descrevem possíveis tipos de alteração, não defeitos ou poupanças de tempo confirmados de forma independente.
Os mecanismos atuais de consulta da lista de resultados e dos detalhes incluem apenas respostas booleanas e numéricas. Embora o contrato de dados dos detalhes tenha um campo answer para dados estruturados, esses mecanismos não devolvem atualmente as linhas de padrões de edição armazenadas em JSON. Utilize as comparações de edição disponíveis e a análise do texto, em vez de esperar uma exportação categorizada a partir dessas operações.
Utilização e interpretação #
A taxa de edição e a distância de edição calculam respostas sem custos de LLM. As medições executadas com êxito têm uma contabilização de consumo separada, pelo que um custo de modelo nulo não garante medições gratuitas. Custos explica o âmbito da contabilização; Resultados explica as respostas nulas e a cobertura.