Custos
Explique os gastos registados com tradução e medição sem contar o mesmo trabalho mais de uma vez nem tratar a ausência de dados como consumo gratuito.
Uma análise de custos começa pelo trabalho cujo preço se pretende apurar. Gerar uma tradução, revê-la e avaliá-la segundo um critério são operações distintas. Os respetivos registos também podem sobrepor-se: um único pedido ao modelo pode servir vários documentos e aparecer nas vistas de várias etapas.
Utilize os dados dos pedidos, das etapas e das medições para explicar cada operação. Recorra ao consumo da conta e à Faturação para conferir os valores do período da conta e os controlos de pagamento.
Identifique a unidade contabilística #
| Registo | Dados a consultar com o montante |
|---|---|
| Pedido de tradução | Modelo efetivamente utilizado, estado, tokens, recurso a um modelo alternativo e indicação de que o registo representa uma tentativa ou o resultado utilizado. |
| Etapa do pipeline | Tentativas de execução do modelo associadas e eventual encomenda de revisão externa, incluindo o prestador e o valor registado. |
| Resultado da medição | Identidade do avaliador ou do algoritmo, consumo da resposta e custo registado. |
| Consumo da conta | Período de faturação, organização, categoria de consumo e encargos ou créditos. |
Conte cada operação uma única vez. Associar várias respostas de avaliadores a um pedido não multiplica o respetivo custo de geração. Da mesma forma, antes de somar os custos dos pedidos ao total de uma tarefa, é necessário saber que pedidos já estão incluídos nesse total.
Analise a tentativa de execução do modelo na íntegra #
A vista do pedido regista inputTokens, outputTokens e providerCostUsd quando o fornecedor disponibiliza esses dados. Estes valores dizem respeito à totalidade do pedido ao modelo. Um lote pode servir mais de um documento ou destino, pelo que deve contar cada ID de pedido apenas uma vez ao comparar etapas ou idiomas.
O montante indicado pelo fornecedor não é uma fatura da tarefa. Inclua as tentativas falhadas e as execuções bem-sucedidas com modelos alternativos ao explicar os gastos com geração. Depois, confira separadamente o consumo da plataforma e eventuais revisões externas. A cache de prompts pode afetar o trabalho do fornecedor, mas a repetição dos dados de entrada não garante uma correspondência na cache, um desconto ou uma redução da latência.
Distinga custos não registados de custos nulos #
Alguns registos não contêm dados contabilísticos completos. Os eventos do Crowdin não fornecem dados de consumo de geração, e os eventos derivados de tarefas também podem não os incluir. Esses campos dos eventos não permitem determinar o gasto total com geração. Um travessão na vista do pedido ao modelo significa que os tokens ou o custo do fornecedor correspondentes não foram registados; não significa zero.
O custo de medição com LLM pode ser guardado como zero quando o fornecedor não disponibiliza o custo. A resposta atual com o resultado não permite distinguir esse caso de um gasto comprovadamente nulo. Utilize dados contabilísticos independentes para determinar a cobertura dos dados de custos, em vez de interpretar cada zero como uma operação gratuita ou um montante em falta.
A taxa de edição e a distância de edição são calculadas sem um LLM, pelo que o respetivo gasto com modelos é zero. As execuções de medição bem-sucedidas continuam a ter o consumo contabilizado. Os resultados ignorados por uma condição, as novas tentativas e as falhas seguem percursos diferentes; somar os custos visíveis das respostas não permite reconstituir a fatura nem todas as tentativas de avaliação.
Mantenha os encargos de revisão externa associados ao registo da revisão #
Abra a etapa de revisão humana para consultar a encomenda externa, o prestador e o valor registado. Distinga uma encomenda faturada através do Lingo.dev de uma que utiliza a ligação da sua organização ao prestador. Os encargos podem manter-se mesmo depois de uma equipa assumir o trabalho ou não aceitar um resultado entregue com atraso pelo prestador. O pagamento de uma revisão não indica que texto foi aceite como resultado. As revisões no Inbox abordam essa decisão.
Compare o custo com o resultado obtido #
Ao comparar modelos, mantenha comparáveis o conteúdo, os pares de idiomas, os requisitos e as condições temporais. Inclua novas tentativas, o recurso a modelos alternativos e etapas adicionais. Uma amostra bem-sucedida de baixo custo não permite concluir que o custo por tradução aceite é baixo em todo o workflow.
Para analisar o rendimento da medição, um cálculo útil consiste em dividir o custo registado do avaliador para o grupo selecionado de respostas concluídas pelo número de respostas conclusivas desse grupo. Inclua no numerador as avaliações concluídas com resposta nula, pois consumiram trabalho sem produzir um parecer conclusivo. Identifique o montante como custo registado das respostas: as tentativas falhadas ou inválidas e as novas tentativas podem não estar incluídas.
Apresente, junto desse cálculo, a cobertura de conclusão e de respostas conclusivas, o âmbito do numerador e as lacunas nos dados de custos identificadas de forma independente. Controle o custo da localização sem ocultar falhas aprofunda a comparação mais abrangente entre gastos, resultados utilizáveis e trabalho por concluir.