Výsledky
Projděte si odpověď měření spolu s posuzovaným textem, kritériem, odůvodněním a doklady o provedení. Poté zohledněte i práci, která zůstala bez odpovědi.
Výsledek propojuje měření s textem, který posuzovalo. Při práci s výsledkem si otevřete odpověď spolu s kritériem a hodnocenou revizí. Zjištění o odstraněné podmínce by mělo uvádět konkrétní podmínku i cílové znění; samotné číslo takovou změnu nedokládá.
Například odpověď true u míry úprav znamená, že se návrh a cílový text po normalizaci bílých znaků liší. Stejná booleovská hodnota u vlastního požadavku ale může znamenat, že překlad vyhověl. Než hodnotu vyhodnotíte, přečtěte si definici.
Otevřete správnou historii #
V části Radar → Logy najdete na kartě Měření všechny odpovědi seřazené od nejnovějších. Výběr zužte pomocí filtrů Měření, Jazyky, Typ a Hodnota — Vyhovělo, Nevyhovělo nebo Nelze použít. Poté otevřete odpověď a zobrazte její Výsledek měření. Na stránce konkrétní události najdete její odpovědi v části Hodnoty. Rozhraní historie výsledků podporuje filtrování podle času, události, měření, jazyka, typu události a verdiktu. Booleovské filtry vyhovělo/nevyhovělo vybírají booleovské odpovědi; na číselná skóre žádnou prahovou hodnotu neuplatňují. N/A vybírá odpovědi označené jako nelze použít.
Rozhraní seznamu výsledků ve výchozím nastavení vrací 200 řádků a umožňuje až 500 řádků na stránku. Pomocí meta.nextCursor se stejnými filtry načtěte celou vybranou historii. K vyhledání podrobností slouží ID události, ID měření a čas výskytu události jako at.
U překladu vygenerovaného v Lingo.dev patří odpovědi k jeho události localization.completed. V části Radar → Logy → Měření vyhledejte odpovídající ID úlohy a cílový jazyk události. Článek Kontrola překladů Lingo.dev vysvětluje, kterou dokončenou práci lze měřit. Chcete-li si prohlédnout požadavky na model, otevřete úlohu v části Studio → Lokalizační API.
Seznamte se s poli odpovědi #
| Pole | Význam |
|---|---|
valueKind | bool nebo score; určuje škálu odpovědi. |
value | Booleovská hodnota true vyjádřená jako 1, false jako 0 nebo skóre od 0 do 100. |
notApplicable | Při hodnotě true nemá řádek jednoznačnou booleovskou ani číselnou odpověď. Než budete value považovat za skóre, zkontrolujte toto pole. |
reasoning, suggestion | Vysvětlení a navrhovaná oprava, pokud jsou k dispozici. Každé z těchto polí může mít hodnotu null. |
eventAt, computedAt | Čas události převzatý ze zdroje a čas výpočtu této odpovědi; čas události se řídí pravidly poskytovatele pro časová razítka. |
| Údaje o původci | Zaznamenaný hodnotitel nebo algoritmus, nikoli nutně ten, který překlad vygeneroval. |
U odpovědi null se ukládá číselná hodnota nula spolu s notApplicable: true. Tato kombinace znamená N/A, nikoli hodnocení nulové kvality. Skutečná jednoznačná nulová odpověď má notApplicable: false.
Podrobnosti navíc obsahují spotřebu tokenů, costUsd a případně aiRequest s modelem, časovými razítky, vstupem a nezpracovaným výstupem. Na stránce výsledku najdete Odpověď s poli Odůvodnění a Návrh, posuzovaný Překlad a Požadavek na hodnotitele s údaji Odesláno a Odpověď. Vedle nich jsou údaje Hodnotitel, Doba trvání, Tokeny a Náklady. Odpověď vypočítaná algoritmem nevyžaduje požadavek na AI. Pole s doklady o požadavku může mít hodnotu null také tehdy, když jsou tyto doklady starší nebo nedostupné. Vysvětlení s hodnotou null u jinak platné odpovědi samo o sobě neznamená selhání při provádění.
Pokud se zdá, že vysvětlení hodnotitele vychází z chybějícího textu nebo pokynů, projděte si jeho vstup. Než návrh použijete, porovnejte jej se zdrojem; navrhovaná oprava ještě není přijatým výstupem.
Rozhraní podrobností zahrnuje strukturované pole answer, současné dotazy na výsledky ale vracejí pouze booleovské a číselné řádky. Uložené štítky vzorců úprav ve formátu JSON nejsou přes tato rozhraní seznamu a podrobností dostupné. Zpětné doplnění, při kterém se určité období změří znovu, navíc nahrazuje předchozí odpovědi. Historie výsledků tedy není neměnným archivem verzí kritérií.
Interpretace #
N/A zahrnuje několik situací, z nichž každá vyžaduje jiný postup. Událost může být mimo rozsah jazyků, engine nebo vzorku daného měření; odůvodnění pak začíná slovy „Podmínka nesplněna“. Pravidlo se na ni skutečně nemusí vztahovat. Vybranému překladu může chybět zdroj. Hodnotitel může hodnocení provést, a přesto nedokázat rozhodnout. Tyto situace rozlišujte podle důvodu, dat a dokladů o provedení. Nepředpokládejte, že každé N/A znamená dokončené hodnocení.
| Zjištěná situace | Jak postupovat |
|---|---|
| Není jasné, zda se kritérium vztahuje na daný případ | Vyjasněte, zda kritérium do tohoto posouzení patří; nejistotu ponechte výslovně uvedenou. |
| Kritérium se na daný případ nevztahuje | Položku vyřaďte ze jmenovatele při výpočtu kvality podle daného kritéria a zachovejte důvod. |
| Překladu splňujícímu podmínky chybějí požadované doklady | Ponechte jej v souboru překladů splňujících podmínky a zaznamenejte, které doklady chybějí. |
| Hodnotitel dokončil hodnocení, ale neposkytl jednoznačnou odpověď | Dokončené hodnocení započítejte odděleně od jednoznačných odpovědí. |
| Překlad splňující podmínky obdržel odpověď vyhovělo nebo nevyhovělo | Zahrňte jej do jmenovatele jednoznačných odpovědí; do čitatele úspěšnosti zahrňte pouze vyhovující odpovědi. |
| Dokončení hodnocení není doloženo | Chybějící nebo neúspěšnou práci ponechte v evidenci a prověřte její poslední známý milník. |
Jde o analytické rozlišení, nikoli o příslib samostatných stavů v uživatelském rozhraní. Vybraný soubor překladů vychází z vašich záznamů workflow; z vrácených odpovědí nelze určit všechny překlady splňující podmínky, které se k hodnocení vůbec nedostaly.
V modelovém souboru 30 překladů splňujících podmínky znamená 18 vyhovujících odpovědí z 20 jednoznačných odpovědí 90% úspěšnost a pokrytí jednoznačnými odpověďmi 20/30. Pokud dalších pět hodnocení skončilo bez jednoznačné odpovědi, pokrytí dokončenými hodnoceními je 25/30. Zbývajících pět překladů zůstává bez dokončeného hodnocení. Tyto údaje vykazujte odděleně, aby míra úspěšnosti nezakrývala chybějící doklady.
Vzorkování je záměrný výběr. Události vynechané při vzorkování nepředstavují selhání při provádění, přesto ale ovlivňují pokrytí celého souboru překladů splňujících podmínky. Článek Návrh měření kvality překladu vysvětluje, jak tento soubor definovat a kritérium otestovat.
Chybějící a neúspěšné výsledky #
Začněte u původní události nebo požadavku. Pokud chybí, prověřte sběr nebo generování. Pokud existuje, prověřte vybrané měření, jeho aktivní podmínky včetně jazyků, engine a vzorku i požadované doklady.
Při zpracování událostí se po selhání hodnotitele nebo úložiště, které umožňuje opakování, pokus opakuje; chybně formátované zprávy a případy s chybami mohou být zahozeny. Zobrazený seznam odpovědí není úplnou evidencí pokusů. Ani úspěšný překlad nezaručuje, že pro něj bylo vybráno nebo do fronty zařazeno měření.
V části Události najdete shromážděné doklady, v části Požadavky vstup, výstup a chyby modelu a v části Spuštění průběh workflow. Čekání na lidskou kontrolu patří do Inbox. Selhání zápisu do cílového umístění je třeba odlišit od selhání překladu nebo hodnocení. Opakované generování překladů kvůli jedné chybějící kontrole může vytvářet další nesouvisející práci, aniž by vyřešilo původní mezeru.
Pracujte s hodnocenou revizí #
Ověřte, že prohlížený cílový text odpovídá hodnocené verzi. U profesionální kontroly porovnejte vrácený text s textem skutečně odeslaným ke kontrole, který už může obsahovat přeformulování. Opožděný výsledek od dodavatele ani nevrácený poplatek za kontrolu nedokládají, že tým tento text přijal.
Po ověření zjištění opravte cílový text ve workflow, které jej spravuje, nebo upřesněte zdroj, glosář, pravidlo či hodnotitele, který za problém odpovídá. Upravenou revizi znovu zkontrolujte. Článek Ověřování zjištění o kvalitě se tomuto prověřování věnuje podrobněji; článek Kontroly v Inbox popisuje samotné rozhodnutí při kontrole.