Quando uma localização sai errada, o servidor MCP dá ao seu assistente de IA acesso a toda a stack de observabilidade — logs de solicitações, veredictos dos scorers, relatórios de correspondência de glossário e resultados de revisão de instruções. Depure a qualidade sem sair da conversa.
Logs de solicitações#
Cada solicitação de localização gera uma entrada de log com todo o contexto de execução: qual modelo a processou, tokens de entrada e saída, duração, se houve acionamento de fallback e os dados completos de entrada e saída.
"Mostre o último log de solicitação do engine em alemão"
O assistente recupera o log e pode responder a perguntas de acompanhamento: "Ele usou o modelo de fallback?" "Quantos tokens consumiu?" "Qual foi a saída bruta?"
O que cada log contém#
| Campo | O que mostra |
|---|---|
| Provedor / modelo | Qual LLM processou a solicitação |
| Dados de entrada / saída | A entrada exata enviada e a localização recebida |
| Tokens de entrada / saída | Consumo de tokens |
| Duração | Tempo de processamento em milissegundos |
| Usou fallback | Se o modelo principal falhou e o fallback entrou em ação |
| Status | success, error ou in_progress |
| Texto do erro | Detalhes do erro quando o status é error |
| Tipo de gatilho | Se a solicitação veio da API, CLI, CI, playground ou integração |
Veredictos do avaliador de IA#
Cada log de solicitação se conecta aos logs de execução dos scorers — as avaliações independentes do avaliador de IA executadas depois que a localização é produzida.
"A última localização em alemão passou em todos os scorers?"
O assistente recupera os logs de execução dos scorers de uma determinada solicitação e informa o veredicto de cada scorer: aprovado/reprovado (scorers booleanos) ou pontuação percentual, junto com o raciocínio produzido pelo avaliador.
Campos do log de execução do scorer#
| Campo | O que mostra |
|---|---|
| Nome do scorer | Qual avaliador de IA foi executado |
| Tipo de scorer | boolean (aprovado/reprovado) ou percentage (0-100) |
| Resultado da pontuação | O veredicto e o raciocínio |
| Provedor / modelo | Qual modelo realizou a revisão |
| Duração | Quanto tempo a revisão levou |
Conformidade com o glossário#
"Todos os termos do glossário foram aplicados corretamente nessa localização?"
O assistente recupera o log de revisão do glossário de uma solicitação, mostrando cada termo do glossário encontrado, se foi aplicado e o raciocínio caso não tenha sido.
O relatório inclui:
- Cada termo de origem encontrado
- A localização de destino esperada
- Se o termo é uma localização personalizada ou não traduzível
- Aplicado ou não aplicado para cada termo
- Raciocínio quando um termo não foi aplicado
- Taxa geral de conformidade
Aderência às instruções#
"A localização em francês seguiu a instrução de espaço inseparável?"
O assistente recupera logs de revisão de instruções — uma entrada por instrução avaliada com base na saída da localização. Cada uma mostra o nome da instrução, o texto da regra e um veredicto de aprovado/reprovado com raciocínio.
O workflow de depuração#
Uma conversa típica de post-mortem:
- "A localização em alemão de 'checkout flow' parece errada"
- "Mostre o log de solicitação disso" — veja o que entrou e o que saiu
- "O glossário foi aplicado?" — confira se 'checkout' foi encontrado e preservado
- "O que os scorers disseram?" — veja se algum avaliador de IA sinalizou isso
- "O termo do glossário não foi encontrado — atualize-o para também cobrir 'checkout flow'" — corrija a causa raiz
Todo o ciclo acontece em uma única conversa, sem abrir o dashboard.
