Meça traduções no seu pipeline

Adicione medições repetíveis a um workflow de tradução existente sem perder de vista as revisões, as respostas e o trabalho incompleto.

Um workflow de tradução existente já define de onde vem o conteúdo e onde o texto aprovado deve ficar. Adicione a medição em um ponto que permita preservar as versões de origem e de destino e, depois, vincule cada resposta a esse registro. Assim, a equipe pode investigar a qualidade sem mudar o sistema que produz ou mantém as traduções.

Este guia acompanha uma medição recorrente, da coleta à recuperação e à geração de relatórios. Comece com um critério definido, como preservar as condições de afirmações sobre o produto. Crie uma medição de qualidade de tradução explica como redigir e calibrar esse critério.

Conecte a verificação a uma entrada real de dados #

Escolha o caminho de execução antes de criar a automação em torno dele:

Trabalho existenteCaminho de medição
Sugestões e traduções do CrowdinConecte o Crowdin, ative uma medição de eventos e confira as atividades coletadas e os resultados no Radar.
Arquivos locais de traduçãoExecute lingo score com um avaliador e uma configuração de modelo; guarde o arquivo local de resultados.
Solicitações de tradução do Lingo.devExecute uma medição nas localizações concluídas dessas solicitações e consulte as respostas no Radar.

A fonte de eventos coletados do Radar determina quais dados chegam. Ela não oferece um endpoint genérico para o envio de traduções ou pontuações arbitrárias. Se você tem um pipeline próprio sem uma entrada de dados compatível, preserve o registro de revisões descrito abaixo e estabeleça o mecanismo de transporte antes de automatizar o envio. Um critério personalizado, por si só, não cria esse mecanismo.

Colete traduções explica esses limites. O método de medição continua útil onde quer que o texto aprovado seja mantido; a pontuação local e o histórico de eventos apenas geram registros diferentes que precisam ser conciliados.

Mantenha juntas as versões de origem e de destino #

Escolha um identificador de conteúdo que continue válido após edições e registre as revisões específicas de origem e de destino que foram avaliadas. Um ID de mensagem, por si só, não distingue uma resposta sobre o texto de ontem de uma resposta sobre a correção de hoje.

Um registro mantido pelo cliente poderia conter, por exemplo:

json
{
  "contentId": "checkout.delivery",
  "sourceRevision": "source-17",
  "targetRevision": "fr-12",
  "targetLocale": "fr",
  "criterionVersion": "delivery-promise-3",
  "sourceText": "Your order will arrive within five business days.",
  "targetTextLocation": "accepted catalog at revision fr-12"
}

Este é um exemplo de rastreamento, não um esquema de solicitação do Lingo.dev. Armazene o texto de destino em si ou uma referência imutável acessível ao avaliador. Um link para a versão “mais recente” pode mudar durante a avaliação. Mantenha no registro o horário da ocorrência, quem produziu o texto, quando essa informação for conhecida, e a localização do texto aprovado.

Adicione evidências conforme a pergunta. Para verificar a preservação do sentido, é preciso ter os textos de origem e de destino correspondentes; para analisar a atividade de edição, é preciso ter o rascunho em si; para verificar a terminologia, pode ser necessário ter uma definição e um contexto de uso. Uma verificação ortográfica pode exigir apenas o texto de destino. A falta de evidências para uma mensagem elegível continua sendo uma lacuna na avaliação, não um motivo para considerar a mensagem aprovada ou irrelevante.

Conclua um ciclo da coleta à resposta #

Para o Crowdin, siga as instruções de conexão e configure a medição de eventos, seu gatilho e os idiomas de destino. Para traduções do Lingo.dev, verifique os engines, os idiomas de origem e de destino e a amostra da medição. Salve essas configurações antes de gerar a atividade ou a solicitação de teste.

Localize o evento ou a solicitação resultante e compare o texto com o registro preservado. Depois, examine a resposta à luz do critério. O recebimento de um evento, a seleção de uma avaliação e a conclusão de uma resposta são marcos distintos. Uma nova configuração de seleção não avalia eventos antigos retroativamente; use a avaliação histórica quando esse for o objetivo.

Mantenha um registro simples de conciliação no workflow: revisão selecionada, identificador do evento ou da solicitação recebida, identificador da medição, resposta concluída e eventuais lacunas não resolvidas. Eventos e Resultados explicam os campos disponíveis de fato. Já a pontuação local exige que os arquivos de origem, a configuração e o arquivo de saída sejam preservados juntos.

Trate repetições e correções de formas diferentes #

Uma nova tentativa entrega a mesma revisão outra vez. Uma correção cria uma nova revisão de destino, mesmo que o ID do conteúdo continue igual. Registre essa distinção antes de aplicar o comportamento de desduplicação da própria fonte.

Por exemplo, um prazo corrigido deve receber uma nova revisão de destino e ser comparado novamente com o texto de origem aplicável. Guarde o texto e a resposta anteriores se precisar mostrar o que melhorou. Se a promessa no texto de origem também mudou, preserve a nova revisão desse texto; comparar o novo texto de destino com o texto de origem antigo pode dar a impressão de um defeito.

Não há uma garantia única e ilimitada de idempotência compartilhada pelas entregas dos provedores. Ações repetidas de revisão no Crowdin podem ter identificadores de evento distintos, enquanto outras atividades usam suas próprias informações de ocorrência. Concilie os comprovantes de recebimento e os resultados disponíveis antes de repetir um trabalho cujo resultado seja incerto.

Retome a partir do último marco confirmado #

O que você pode confirmarO que investigar em seguida
A fonte contém a revisão, mas nenhum evento foi encontradoVerifique a conexão, o tipo de atividade compatível, o intervalo de tempo e as evidências de coleta.
O evento existe, mas nenhuma resposta foi encontradaVerifique as condições das medições ativadas, os idiomas, os dados exigidos e o processamento assíncrono.
O avaliador concluiu a avaliação com uma resposta indeterminadaLeia a explicação e forneça as evidências que faltam ou resolva a ambiguidade.
O critério realmente não se aplicaRegistre essa decisão e exclua o item do denominador de qualidade desse critério.
A execução falhouIdentifique a falha antes de repetir o trabalho afetado pelo caminho compatível.

A ausência, por si só, não permite distinguir entre espera, falha, entrada descartada e trabalho não solicitado. Mantenha essa incerteza até que as evidências a esclareçam. Repetir a geração não é uma solução confiável para uma avaliação assíncrona ausente.

Se a recuperação usar avaliação histórica, mantenha Somente eventos ainda não medidos ativado para preencher lacunas sem alterar as respostas existentes. Medir o período novamente substitui as respostas anteriores dessa medição em todo o intervalo selecionado; por isso, preserve-as primeiro. Confirme os eventos esperados e as respostas retornadas, em vez de considerar a resposta de início como confirmação de conclusão.

Apresente as respostas e o trabalho ainda sem resposta #

Considere, por exemplo, um lote de 50 revisões elegíveis. As avaliações foram concluídas para 45 e produziram respostas conclusivas para 40. Dessas, 36 preservaram o requisito e 4 não o atenderam.

A cobertura de conclusão é de 45/50, ou 90%. A cobertura de respostas conclusivas é de 40/50, ou 80%. A taxa de aprovação entre as respostas conclusivas é de 36/40, ou 90%. As cinco respostas concluídas, mas indeterminadas, e as cinco revisões sem avaliações concluídas continuam em grupos separados.

Apresente as mesmas contagens por idioma ou categoria de conteúdo quando o trabalho pendente estiver distribuído de forma desigual. Mantenha visíveis os casos de aplicabilidade desconhecida até que sejam resolvidos. Uma alta taxa de aprovação dos registros com resposta não descreve os que estão sem resposta.

Mantenha o critério junto do resultado #

Preserve o prompt do critério, os requisitos de evidência, as definições de resposta e a configuração do avaliador junto às revisões do conteúdo. Teste definições alteradas em exemplos conhecidos antes de combinar suas respostas em uma análise de tendência. Alterar um critério pode mudar as pontuações sem mudar as traduções.

Quando uma constatação for confirmada, corrija o texto no sistema responsável por ele e avalie a nova revisão. Valide constatações de qualidade ajuda a estabelecer esse diagnóstico. A medição fornece evidências para a decisão; gravar o texto de volta no sistema e publicá-lo continuam sendo ações explícitas no workflow existente.