Měřte kvalitu překladů ve své pipeline
Doplňte stávající překladové workflow o opakovatelné měření a udržte si přehled o jednotlivých revizích, odpovědích i nedokončené práci.
Ve stávajícím překladovém workflow už je jasné, odkud obsah pochází a kam patří přijatý text. Přidejte měření tam, kde lze uchovat zdrojovou i cílovou verzi, a ke každému záznamu pak přiřaďte příslušnou odpověď. Tým tak může zkoumat kvalitu, aniž by měnil systém, který překlady vytváří nebo spravuje.
Tento průvodce vás provede jedním opakovaným měřením od sběru dat přes obnovu zpracování až po vykazování výsledků. Začněte jasně definovaným kritériem, například zachováním podmínek v tvrzeních o produktu. Článek Návrh měření kvality překladů vysvětluje, jak takové kritérium formulovat a kalibrovat.
Napojte kontrolu na skutečný vstup dat #
Než začnete navrhovat automatizaci, vyberte způsob provádění měření:
| Stávající práce | Způsob měření |
|---|---|
| Návrhy a překlady v Crowdin | Připojte Crowdin, zapněte měření událostí a prohlédněte si shromážděnou aktivitu a výsledky v nástroji Radar. |
| Lokální překladové soubory | Spusťte lingo score s konfigurací hodnoticího nástroje a modelu a uchovejte lokální soubor s výsledky. |
| Požadavky na překlad v Lingo.dev | Spusťte měření pro jejich dokončené lokalizace a přečtěte si odpovědi v nástroji Radar. |
Zdroj, ze kterého Radar shromažďuje události, určuje, jaká data dorazí. Radar neposkytuje univerzální koncový bod pro nahrávání libovolných překladů nebo skóre. U vlastní pipeline bez podporovaného vstupu uchovejte níže popsaný záznam revizí a před automatizací odesílání zajistěte přenos dat. Samotné vlastní kritérium tento přenos nezajistí.
Tato omezení vysvětluje článek Sběr překladů. Metoda měření je užitečná všude, kde se spravuje přijatý text. Lokální hodnocení a historie událostí jen vytvářejí odlišné záznamy, které je třeba vzájemně porovnat a sladit.
Uchovávejte zdrojovou a cílovou verzi společně #
Zvolte identifikátor obsahu, který se při úpravách nemění, a zaznamenejte konkrétní hodnocené revize zdroje a překladu. Samotné ID zprávy nerozliší odpověď k včerejšímu textu od odpovědi k dnešní opravě.
Ukázkový záznam spravovaný zákazníkem může obsahovat:
{
"contentId": "checkout.delivery",
"sourceRevision": "source-17",
"targetRevision": "fr-12",
"targetLocale": "fr",
"criterionVersion": "delivery-promise-3",
"sourceText": "Your order will arrive within five business days.",
"targetTextLocation": "accepted catalog at revision fr-12"
}Jde o příklad evidence, nikoli o schéma požadavku Lingo.dev. Uložte skutečný cílový text nebo neměnný odkaz, ke kterému má hodnotitel přístup. Odkaz na „nejnovější“ verzi může během hodnocení začít odkazovat na jiný text. V záznamu uchovávejte také čas výskytu, původce, pokud je znám, a umístění přijatého textu.
Podklady doplňujte podle toho, co posuzujete. Posouzení zachování významu vyžaduje zdrojový i cílový text; posouzení úprav vyžaduje skutečný koncept textu; posouzení terminologie může vyžadovat definici a kontext použití. Ke kontrole pravopisu může stačit jen cílový text. Pokud u zprávy, která splňuje podmínky pro posouzení, chybějí podklady, jde stále o mezeru v hodnocení, nikoli o důvod označit zprávu za vyhovující nebo nerelevantní.
Dokončete jeden cyklus od sběru po odpověď #
U Crowdin postupujte podle pokynů k připojení a poté nastavte měření událostí, jeho spouštěč a cílové jazyky. U překladů Lingo.dev ověřte, které engine, zdrojové a cílové jazyky a jaký vzorek měření používá. Nastavení uložte ještě před vytvořením testovací aktivity nebo požadavku.
Najděte vzniklou událost nebo požadavek a porovnejte příslušný text s uchovaným záznamem. Poté zkontrolujte odpověď podle kritéria. Přijetí události, výběr k hodnocení a dokončení odpovědi jsou samostatné milníky. Nové nastavení výběru nezajistí zpětné vyhodnocení starých událostí. Pokud je to vaším cílem, použijte historické hodnocení.
Ve workflow uchovávejte jednoduchý záznam pro kontrolu návazností: vybranou revizi, identifikátor přijaté události nebo požadavku, identifikátor měření, dokončenou odpověď a případné nevyřešené mezery. Články Události a Výsledky vysvětlují, která pole jsou skutečně dostupná. U lokálního hodnocení je místo toho třeba společně uchovat zdrojové soubory, konfiguraci a výstupní soubor.
Rozlišujte opakování a opravy #
Opakovaný pokus znovu doručí stejnou revizi. Oprava vytvoří novou cílovou revizi, i když ID obsahu zůstane stejné. Tento rozdíl zachyťte v záznamu ještě před uplatněním pravidel, kterými zdroj odstraňuje duplicity.
Například opravený termín má být zaznamenán jako nová cílová revize a znovu porovnán s příslušným zdrojem. Pokud potřebujete doložit, co se zlepšilo, uchovejte předchozí text i odpověď. Pokud se změnil také příslib ve zdrojovém textu, uchovejte jeho novou revizi. Porovnání nového cílového textu se starým zdrojem může budit dojem chyby, která ve skutečnosti neexistuje.
Pro doručování od různých poskytovatelů neplatí jedna společná, neomezená záruka idempotence. Opakované kontrolní akce v Crowdin mohou mít odlišné identifikátory událostí, zatímco jiné aktivity používají vlastní údaje o výskytu. Než zopakujete práci, jejíž výsledek je nejistý, porovnejte dostupná potvrzení o přijetí a výsledky.
Obnovte zpracování od posledního ověřeného milníku #
| Co lze ověřit | Co dále prověřit |
|---|---|
| Zdroj obsahuje revizi, ale událost nelze najít | Zkontrolujte připojení, podporovaný typ aktivity, časové okno a záznamy dokládající sběr. |
| Událost existuje, ale odpověď nelze najít | Zkontrolujte aktivní podmínky měření, jazyky, povinné vstupní údaje a asynchronní zpracování. |
| Hodnotitel dokončil hodnocení s neurčitou odpovědí | Přečtěte si jeho vysvětlení a doplňte chybějící podklady nebo vyjasněte nejednoznačnost. |
| Kritérium se na danou položku skutečně nevztahuje | Toto rozhodnutí uchovejte a položku nezapočítávejte do jmenovatele při výpočtu kvality podle tohoto kritéria. |
| Zpracování selhalo | Než dotčenou práci zopakujete podporovaným způsobem, zjistěte příčinu selhání. |
Z toho, že něco chybí, ještě nepoznáte, zda zpracování čeká, selhalo, ztratilo vstup, nebo vůbec nebylo vyžádáno. Nevyvozujte závěr, dokud tuto nejistotu nevyřeší podklady. Opakované generování není spolehlivou nápravou chybějícího asynchronního hodnocení.
Pokud při obnově používáte historické hodnocení, ponechte zapnutou možnost Pouze dosud neměřené události. Doplníte tak mezery, aniž byste zasáhli do stávajících odpovědí. Opětovné měření období nahradí dřívější odpovědi daného měření v celém vybraném intervalu, proto je nejprve uchovejte. Ověřte očekávané události i vrácené odpovědi a nepovažujte odpověď na požadavek ke spuštění za potvrzení dokončení.
Vykazujte odpovědi i práci, která zůstává bez odpovědi #
Představme si dávku 50 revizí splňujících podmínky pro hodnocení. U 45 z nich bylo hodnocení dokončeno a u 40 přineslo jednoznačnou odpověď. Z těchto 40 revizí jich 36 zachovalo požadavek a 4 jej nesplnily.
Pokrytí dokončenými hodnoceními je 45/50, tedy 90 %. Pokrytí jednoznačnými odpověďmi je 40/50, tedy 80 %. Úspěšnost mezi jednoznačnými odpověďmi je 36/40, tedy 90 %. Pět dokončených hodnocení s neurčitou odpovědí a pět revizí bez dokončeného hodnocení zůstává ve dvou oddělených skupinách.
Pokud je chybějící práce rozložena nerovnoměrně, zobrazujte stejné počty také podle jazyka nebo kategorie obsahu. Případy, kdy není jasné, zda se kritérium vztahuje na danou položku, ponechte viditelné, dokud se nevyjasní. Vysoká úspěšnost záznamů s odpovědí nevypovídá o těch, u kterých odpověď chybí.
Uchovávejte kritérium spolu s výsledkem #
Spolu s revizemi obsahu uchovávejte zadání kritéria, požadavky na podklady, definice odpovědí a konfiguraci hodnotitele. Změněné definice otestujte na známých příkladech, než odpovědi získané podle nich zahrnete do společného trendu. Změna kritéria může změnit skóre, aniž by se změnily překlady.
Jakmile se zjištění potvrdí, opravte text v systému, který jej spravuje, a vyhodnoťte novou revizi. Článek Ověřování zjištění o kvalitě vám pomůže tuto diagnózu potvrdit. Měření poskytuje podklady pro rozhodnutí; zpětný zápis a publikování zůstávají samostatnými, výslovně prováděnými kroky ve stávajícím workflow.