Náklady

Vysvětlete zaznamenané náklady na překlad a měření, aniž byste tutéž práci započítali vícekrát nebo chybějící údaje považovali za bezplatnou spotřebu.

Analýza nákladů začíná u práce, jejíž náklady zjišťujete. Vygenerování překladu, jeho kontrola a posouzení podle určitého kritéria jsou samostatné operace. Jejich záznamy se přitom mohou překrývat: jeden požadavek na model může obsloužit více dokumentů a objevit se v přehledech několika fází.

Jednotlivé operace vysvětlujte na základě údajů o požadavcích, fázích a měřeních. K ověření souladu údajů za zúčtovací období účtu a nastavení plateb použijte spotřebu účtu a Fakturaci.

Určete jednotku pro účtování #

ZáznamCo sledovat spolu s částkou
Požadavek na překladSkutečně použitý model, stav, tokeny, záložní řešení a údaj o tom, zda záznam představuje pokus, nebo využitý výstup.
Fáze pipelineSouvisející pokusy o volání modelu a případná objednávka externí kontroly včetně poskytovatele a zaznamenaného poplatku.
Výsledek měřeníIdentita hodnotitele nebo algoritmu, spotřeba spojená s odpovědí a zaznamenané náklady.
Spotřeba účtuZúčtovací období, organizace, kategorie spotřeby a účtované částky nebo kredity.

Každou operaci započítejte jen jednou. Přiřazení několika odpovědí hodnotitele k jednomu požadavku nenásobí náklady na generování v rámci tohoto požadavku. Stejně tak musíte před přičtením nákladů na požadavky k celkové částce úlohy vědět, které požadavky už tato částka zahrnuje.

Projděte si celý pokus o volání modelu #

Přehled požadavku uvádí inputTokens, outputTokens a providerCostUsd, pokud je poskytovatel dodal. Tyto údaje se vztahují k celému požadavku na model. Jedna dávka může obsloužit více dokumentů nebo cílů, proto při porovnávání fází či jazyků odstraňte duplicitní ID požadavků.

Částka uvedená poskytovatelem není fakturou za úlohu. Při vysvětlování nákladů na generování zahrňte neúspěšné pokusy i úspěšná volání záložního modelu. Spotřebu na platformě a případnou externí kontrolu pak ověřte samostatně. Cache promptů může ovlivnit práci na straně poskytovatele, opakovaný vstup ale nezaručuje využití cache, slevu ani kratší odezvu.

Rozlišujte chybějící údaje o nákladech od nuly #

Některé záznamy neobsahují úplné účetní podklady. Události z Crowdin neposkytují údaje o spotřebě při generování a tyto údaje mohou chybět i u událostí odvozených z úloh. Z těchto polí událostí proto nelze určit celkové náklady na generování. Pomlčka v přehledu požadavku na model znamená, že příslušné údaje o tokenech nebo nákladech poskytovatele nebyly zaznamenány; neznamená nulu.

Pokud poskytovatel náklady neuvedl, mohou být náklady na měření pomocí LLM uloženy jako nula. Současná odpověď s výsledkem neumožňuje tento případ odlišit od prokazatelně nulových nákladů. Úplnost údajů o nákladech ověřujte pomocí nezávislých účetních podkladů. Nepovažujte automaticky každou nulu za bezplatnou operaci ani za chybějící částku.

Míra úprav a editační vzdálenost se počítají bez LLM, takže náklady na model jsou u nich nulové. U úspěšných spuštění měření se přesto eviduje spotřeba. Výsledky přeskočené na základě podmínky, opakované pokusy a selhání se zpracovávají odlišně; součtem zobrazených nákladů na odpovědi nezrekonstruujete fakturu ani všechny pokusy o vyhodnocení.

Poplatky za externí kontrolu ponechte u záznamu kontroly #

Otevřete fázi kontroly člověkem a prohlédněte si externí objednávku, poskytovatele a zaznamenaný poplatek. Rozlišujte mezi objednávkou fakturovanou přes Lingo.dev a objednávkou, která využívá připojení vaší organizace k poskytovateli. Poplatky mohou zůstat účtované i poté, co práci převezme tým nebo nepřijme opožděný výsledek dodavatele. Samotná platba za kontrolu nedokládá, který text byl nakonec přijat jako výstup. Tomuto rozhodnutí se věnuje část Kontroly v Inbox.

Porovnejte náklady s dosaženým výsledkem #

Při porovnávání modelů zajistěte srovnatelný obsah, jazykové páry, požadavky a časové podmínky. Zahrňte opakované pokusy, využití záložního řešení i další fáze. Úspěšný vzorek s nízkými náklady nedokládá nízké náklady na jeden přijatý překlad v rámci celého workflow.

Při posuzování výtěžnosti měření je užitečné vydělit zaznamenané náklady na hodnotitele pro vybranou skupinu dokončených odpovědí počtem odpovědí s jednoznačným výsledkem v této skupině. Do nákladů v čitateli zahrňte i dokončená vyhodnocení s odpovědí null: i ta vyžadovala práci, přestože neposkytla jednoznačný závěr. Částku označte jako zaznamenané náklady na odpovědi, protože neúspěšné či neplatné pokusy a opakovaná volání v ní mohou chybět.

Vedle tohoto výpočtu uveďte míru dokončení a podíl jednoznačných výsledků. Uveďte také, co čitatel zahrnuje, a nezávisle zjištěné mezery v údajích o nákladech. Část Mějte náklady na lokalizaci pod kontrolou, aniž byste skrývali selhání podrobněji rozebírá srovnání nákladů, použitelného výstupu a nedokončené práce.