Custos

Explique os gastos registrados com tradução e medição sem contar o mesmo trabalho mais de uma vez nem tratar dados ausentes como consumo gratuito.

A análise de custos começa pelo trabalho que está sendo contabilizado. Gerar uma tradução, revisá-la e avaliá-la segundo um critério são operações distintas. Os registros dessas operações também podem se sobrepor: uma única solicitação ao modelo pode atender a vários documentos e aparecer nas visualizações de diferentes etapas.

Use os dados de solicitações, etapas e medições para explicar cada operação. Use consumo da conta e Faturamento para conciliar o período da conta e os controles de pagamento.

Identifique a unidade de contabilização #

RegistroO que considerar junto com o valor
Solicitação de traduçãoModelo efetivamente usado, estado, tokens, alternativa de contingência e indicação de que o registro representa uma tentativa ou o resultado consumido.
Etapa do pipelineTentativas vinculadas de execução do modelo e eventuais pedidos de revisão externa, com o fornecedor e a taxa registrada.
Resultado da mediçãoIdentificação do avaliador ou algoritmo, consumo da resposta e custo registrado.
Consumo da contaPeríodo de faturamento, organização, categoria de consumo e cobranças ou créditos.

Conte cada operação uma única vez. Vincular várias respostas de avaliadores a uma solicitação não multiplica o custo de geração dessa solicitação. Da mesma forma, antes de somar os custos das solicitações ao total de uma tarefa, é preciso saber quais delas já estão incluídas nesse valor.

Confira todos os dados da tentativa de execução do modelo #

A visualização da solicitação registra inputTokens, outputTokens e providerCostUsd quando o provedor fornece esses dados. Esses valores se referem à solicitação inteira ao modelo. Um lote pode atender a mais de um documento ou destino. Por isso, elimine IDs de solicitação duplicados ao comparar etapas ou idiomas.

O valor informado pelo provedor não é a fatura da tarefa. Inclua as tentativas com falha e as alternativas de contingência bem-sucedidas ao explicar os gastos com geração. Depois, concilie separadamente o consumo da plataforma e eventuais revisões externas. O cache de prompts pode afetar o trabalho do provedor, mas repetir uma entrada não garante o uso do cache, um desconto ou uma redução de latência.

Diferencie custo não registrado de custo zero #

Alguns registros não contêm dados contábeis completos. Os eventos do Crowdin não fornecem dados de consumo de geração, e esses dados também podem estar ausentes em eventos derivados de tarefas. Esses campos dos eventos não permitem determinar o gasto total com geração. Um traço na visualização da solicitação ao modelo indica que os tokens ou o custo correspondente do provedor não foram registrados; não significa zero.

O custo de medição com LLM pode ser armazenado como zero quando o provedor não informa o custo. A resposta atual do resultado não permite distinguir esse caso de um gasto comprovadamente igual a zero. Use evidências contábeis independentes para determinar a cobertura dos dados de custo, em vez de interpretar cada zero como uma operação gratuita ou um valor ausente.

A taxa de edição e a distância de edição são calculadas sem um LLM, portanto o gasto com modelo nessas operações é zero. Ainda assim, as execuções de medição bem-sucedidas têm seu consumo contabilizado. Resultados ignorados por uma condição, novas tentativas e falhas seguem caminhos diferentes; somar os custos visíveis das respostas não permite reconstituir a fatura nem todas as tentativas de avaliação.

Mantenha as taxas de revisão externa junto ao registro da revisão #

Abra a etapa de revisão humana para conferir o pedido externo, o fornecedor e a taxa registrada. Diferencie um pedido faturado pelo Lingo.dev de um pedido que usa a conexão da sua organização com o fornecedor. As taxas podem continuar sendo devidas mesmo depois que uma equipe assume o trabalho ou não aceita um resultado entregue com atraso pelo fornecedor. O pagamento por uma revisão não comprova qual texto foi aceito como resultado. Revisões no Inbox explica essa decisão.

Compare o custo com o resultado obtido #

Ao comparar modelos, mantenha comparáveis o conteúdo, os pares de idiomas, os requisitos e as condições de tempo. Inclua novas tentativas, alternativas de contingência e etapas adicionais. Uma amostra bem-sucedida e barata não comprova um baixo custo por tradução aceita no workflow como um todo.

Para analisar o rendimento das medições, um cálculo útil é dividir o custo registrado do avaliador para o grupo selecionado de respostas concluídas pelo número de respostas conclusivas desse grupo. Inclua no numerador de custo as avaliações concluídas com resposta nula, pois elas consumiram trabalho sem fornecer um julgamento conclusivo. Identifique o valor como custo registrado das respostas: tentativas com falha ou inválidas e novas tentativas podem não estar incluídas.

Ao lado desse cálculo, mostre a cobertura de conclusão e de respostas conclusivas, o escopo do numerador e as lacunas nos dados de custo identificadas de forma independente. Controle o custo de localização sem ocultar falhas aprofunda a comparação entre gastos, resultados utilizáveis e trabalho inacabado.