Medições personalizadas

Crie uma verificação específica para o conteúdo, escolha o tipo de resposta e o escopo dos eventos e teste se ela detecta a alteração pretendida.

Uma medição personalizada torna um dos seus requisitos de conteúdo claro o suficiente para ser testado. Ela pode verificar se uma tradução preserva uma ressalva, segue um requisito de voz definido ou mantém a distinção entre dois conceitos de produto. O prompt informa ao avaliador qual diferença importa e quais diferenças são aceitáveis.

Esta página mostra como criar uma medição em Radar → Medições. Para revisar as traduções geradas pelos seus engines de localização, escolha localization.completed como gatilho; Revisar traduções do Lingo.dev explica como selecionar os engines e onde essas respostas aparecem.

Escreva o requisito como uma comparação #

Suponha que o texto de origem diga que um recurso pode ficar disponível após aprovação. Uma tradução pode manter as palavras referentes ao recurso e à aprovação e, ainda assim, transformar essa possibilidade em uma promessa. Uma medição útil precisa examinar a relação entre esses elementos, em vez de apenas identificar termos correspondentes.

Para esse requisito, um prompt booleano poderia ser:

Exemplo de prompt: preservar o grau de certeza e as condições

Compare as afirmações do texto de origem e da tradução. Retorne true quando a tradução preservar o grau de certeza ou de obrigação do texto de origem, suas condições e a relação entre esses elementos. Permita mudanças naturais na escolha das palavras e na estrutura das frases.

Retorne false quando uma possibilidade se tornar uma promessa, uma obrigação mudar ou uma condição for removida ou associada à afirmação errada. Identifique na explicação os trechos afetados do texto de origem e da tradução e sugira uma correção quando houver evidências que a sustentem.

Retorne null quando o texto não contiver nenhuma afirmação aplicável ou quando as evidências disponíveis não forem suficientes para sustentar a comparação. Explique qual situação se aplica e quais evidências faltam, se for o caso.

O prompt define uma pergunta específica, com critérios que permitem contestar a resposta. Ele não pede ao avaliador que invente todo o padrão de qualidade da equipe.

Crie a medição #

  1. Em Radar → Medições, inicie uma nova medição e insira o prompt.
  2. Dê a ela um nome fácil de reconhecer, como Preservar o grau de certeza e as condições.
  3. Em Valor, escolha Aprovado ou reprovado para uma resposta booleana ou 0 a 100 para uma escala numérica cujos valores intermediários você possa definir.
  4. Mantenha Permitir não aplicável ativado quando o avaliador precisar ter a opção de responder N/A, como no exemplo de prompt. Quando essa opção está desativada, o avaliador precisa indicar aprovação, reprovação ou uma pontuação.
  5. Escolha o Gatilho e os Idiomas. O formulário seleciona inicialmente a localização concluída; altere essa seleção se as evidências que você pretende avaliar chegarem por outro tipo de evento. Se nenhum idioma for selecionado, todos os idiomas de destino serão considerados.
  6. Selecione Criar medição. A definição é salva com a condição de evento selecionada ativada. Na aba Geral da medição, restrinja essa condição por idioma de origem, engine ou amostra, ou adicione outros tipos de evento com Escolher um evento.

O avaliador usa o modelo de avaliação gerenciado pela plataforma. O prompt da medição não seleciona o modelo de geração, não altera as orientações do engine de localização nem adiciona uma rota de envio de conteúdo. Configure uma entrada de dados compatível para fornecer as evidências.

Entenda o contrato de resposta #

Tipo de respostaAvaliação retornada
boolpass: true, false ou null.
scorescore: um valor finito de 0 a 100 ou null.

Ambos os tipos incluem reasoning e suggestion, que aceitam valores nulos. Uma avaliação nula só está disponível enquanto Permitir não aplicável estiver ativado. O valor null significa que o avaliador não conseguiu emitir a avaliação solicitada; o motivo pode indicar que ela não se aplica, que há incerteza ou que faltam evidências. Um evento que não atende aos critérios de seleção de uma condição é marcado como N/A sem consultar o avaliador, independentemente dessa configuração. Uma porcentagem é um valor na escala que você definiu, não uma probabilidade automática de a tradução estar correta.

No histórico de resultados, o valor booleano ou a pontuação aparece por meio de value, valueKind e notApplicable. Confira o indicador N/A antes de interpretar um zero numérico. Resultados explica essa representação e os detalhes disponíveis da execução do avaliador.

Teste a distinção feita pelo prompt #

Depois de salvar a condição, gere um pequeno conjunto de eventos de teste compatíveis ou use uma avaliação histórica com escopo delimitado para eventos existentes. Inclua erros conhecidos e traduções aceitáveis: um compromisso alterado, uma condição removida, um rótulo sem relação com o requisito, um caso sem o texto de origem e uma paráfrase natural que preserve o significado.

Leia a resposta ao lado do texto avaliado. Se a verificação sinalizar uma paráfrase aceitável, examine qual instrução levou a esse falso alarme. Se ela não detectar uma condição removida, torne o requisito mais explícito e teste-o com exemplos que não foram usados para revisar o prompt. O guia de elaboração de medições aprofunda a calibração e a geração de relatórios para além dessa configuração inicial.

Mantenha a definição e o escopo #

As medições personalizadas pertencem à organização. O prompt, o nome, o tipo de valor e a opção Permitir não aplicável podem ser editados na aba Geral; suas condições selecionam tipos de evento individuais e restringem a seleção por idiomas, idiomas de origem, engines e amostra. A seleção de idiomas segue a hierarquia de idiomas: fr também seleciona fr-CA, enquanto fr-CA não seleciona fr-FR. Consulte seleção de eventos.

Salve a definição anterior e os resultados úteis antes de alterar o que conta como reprovação. A avaliação histórica usa a definição atual e, ao avaliar novamente um período, substitui as respostas desse intervalo; por isso, não é possível preservar os resultados dos dois critérios para compará-los. Excluir a definição deixa os valores registrados anteriormente sem essa definição; se o objetivo for apenas interromper verificações futuras, desativar a medição é a ação de menor alcance.