Medições personalizadas
Crie uma verificação específica para o conteúdo, escolha o tipo de resposta e o escopo dos eventos e teste se ela detecta a alteração pretendida.
Uma medição personalizada torna um dos seus requisitos de conteúdo claro o suficiente para ser testado. Ela pode verificar se uma tradução preserva uma ressalva, segue um requisito de voz definido ou mantém a distinção entre dois conceitos de produto. O prompt informa ao avaliador qual diferença importa e quais diferenças são aceitáveis.
Esta página mostra como criar uma medição em Radar → Medições. Para revisar as traduções geradas pelos seus engines de localização, escolha localization.completed como gatilho; Revisar traduções do Lingo.dev explica como selecionar os engines e onde essas respostas aparecem.
Escreva o requisito como uma comparação #
Suponha que o texto de origem diga que um recurso pode ficar disponível após aprovação. Uma tradução pode manter as palavras referentes ao recurso e à aprovação e, ainda assim, transformar essa possibilidade em uma promessa. Uma medição útil precisa examinar a relação entre esses elementos, em vez de apenas identificar termos correspondentes.
Para esse requisito, um prompt booleano poderia ser:
Exemplo de prompt: preservar o grau de certeza e as condições
Compare as afirmações do texto de origem e da tradução. Retorne true quando a tradução preservar o grau de certeza ou de obrigação do texto de origem, suas condições e a relação entre esses elementos. Permita mudanças naturais na escolha das palavras e na estrutura das frases.
Retorne false quando uma possibilidade se tornar uma promessa, uma obrigação mudar ou uma condição for removida ou associada à afirmação errada. Identifique na explicação os trechos afetados do texto de origem e da tradução e sugira uma correção quando houver evidências que a sustentem.
Retorne null quando o texto não contiver nenhuma afirmação aplicável ou quando as evidências disponíveis não forem suficientes para sustentar a comparação. Explique qual situação se aplica e quais evidências faltam, se for o caso.
O prompt define uma pergunta específica, com critérios que permitem contestar a resposta. Ele não pede ao avaliador que invente todo o padrão de qualidade da equipe.
Crie a medição #
- Em Radar → Medições, inicie uma nova medição e insira o prompt.
- Dê a ela um nome fácil de reconhecer, como Preservar o grau de certeza e as condições.
- Em Valor, escolha Aprovado ou reprovado para uma resposta booleana ou 0 a 100 para uma escala numérica cujos valores intermediários você possa definir.
- Mantenha Permitir não aplicável ativado quando o avaliador precisar ter a opção de responder N/A, como no exemplo de prompt. Quando essa opção está desativada, o avaliador precisa indicar aprovação, reprovação ou uma pontuação.
- Escolha o Gatilho e os Idiomas. O formulário seleciona inicialmente a localização concluída; altere essa seleção se as evidências que você pretende avaliar chegarem por outro tipo de evento. Se nenhum idioma for selecionado, todos os idiomas de destino serão considerados.
- Selecione Criar medição. A definição é salva com a condição de evento selecionada ativada. Na aba Geral da medição, restrinja essa condição por idioma de origem, engine ou amostra, ou adicione outros tipos de evento com Escolher um evento.
O avaliador usa o modelo de avaliação gerenciado pela plataforma. O prompt da medição não seleciona o modelo de geração, não altera as orientações do engine de localização nem adiciona uma rota de envio de conteúdo. Configure uma entrada de dados compatível para fornecer as evidências.
Entenda o contrato de resposta #
| Tipo de resposta | Avaliação retornada |
|---|---|
bool | pass: true, false ou null. |
score | score: um valor finito de 0 a 100 ou null. |
Ambos os tipos incluem reasoning e suggestion, que aceitam valores nulos. Uma avaliação nula só está disponível enquanto Permitir não aplicável estiver ativado. O valor null significa que o avaliador não conseguiu emitir a avaliação solicitada; o motivo pode indicar que ela não se aplica, que há incerteza ou que faltam evidências. Um evento que não atende aos critérios de seleção de uma condição é marcado como N/A sem consultar o avaliador, independentemente dessa configuração. Uma porcentagem é um valor na escala que você definiu, não uma probabilidade automática de a tradução estar correta.
No histórico de resultados, o valor booleano ou a pontuação aparece por meio de value, valueKind e notApplicable. Confira o indicador N/A antes de interpretar um zero numérico. Resultados explica essa representação e os detalhes disponíveis da execução do avaliador.
Teste a distinção feita pelo prompt #
Depois de salvar a condição, gere um pequeno conjunto de eventos de teste compatíveis ou use uma avaliação histórica com escopo delimitado para eventos existentes. Inclua erros conhecidos e traduções aceitáveis: um compromisso alterado, uma condição removida, um rótulo sem relação com o requisito, um caso sem o texto de origem e uma paráfrase natural que preserve o significado.
Leia a resposta ao lado do texto avaliado. Se a verificação sinalizar uma paráfrase aceitável, examine qual instrução levou a esse falso alarme. Se ela não detectar uma condição removida, torne o requisito mais explícito e teste-o com exemplos que não foram usados para revisar o prompt. O guia de elaboração de medições aprofunda a calibração e a geração de relatórios para além dessa configuração inicial.
Mantenha a definição e o escopo #
As medições personalizadas pertencem à organização. O prompt, o nome, o tipo de valor e a opção Permitir não aplicável podem ser editados na aba Geral; suas condições selecionam tipos de evento individuais e restringem a seleção por idiomas, idiomas de origem, engines e amostra. A seleção de idiomas segue a hierarquia de idiomas: fr também seleciona fr-CA, enquanto fr-CA não seleciona fr-FR. Consulte seleção de eventos.
Salve a definição anterior e os resultados úteis antes de alterar o que conta como reprovação. A avaliação histórica usa a definição atual e, ao avaliar novamente um período, substitui as respostas desse intervalo; por isso, não é possível preservar os resultados dos dois critérios para compará-los. Excluir a definição deixa os valores registrados anteriormente sem essa definição; se o objetivo for apenas interromper verificações futuras, desativar a medição é a ação de menor alcance.