Vlastní měření
Vytvořte kontrolu na míru svému obsahu, zvolte typ odpovědi a rozsah událostí a ověřte, zda zachytí zamýšlenou změnu.
Vlastní měření jasně vymezuje jeden z vašich požadavků na obsah tak, aby jej bylo možné otestovat. Může zjišťovat, zda překlad zachovává omezující podmínku, dodržuje stanovený požadavek na styl komunikace nebo rozlišuje dva produktové pojmy. Prompt hodnotiteli určuje, na kterém rozdílu záleží a které rozdíly jsou přijatelné.
Tato stránka vás provede vytvořením měření v části Radar → Měření. Chcete-li kontrolovat překlady, které generují vaše lokalizační engine, zvolte jako spouštěč localization.completed. Stránka Kontrola překladů Lingo.dev vysvětluje, jak vybrat engine a kde se odpovědi zobrazují.
Formulujte požadavek jako porovnání #
Představte si, že zdrojový text uvádí, že funkce může být dostupná po schválení. Překlad může zachovat slova označující funkci i schválení, a přesto z této možnosti udělat příslib. Užitečné měření musí zkoumat vztah mezi nimi, ne jen shodu termínů.
Pro tento požadavek by prompt s booleovskou odpovědí mohl znít takto:
Příklad promptu: zachování míry jistoty a podmínek
Porovnejte tvrzení ve zdrojovém a cílovém textu. Vraťte true, pokud cílový text zachovává míru jistoty nebo závaznosti zdrojového tvrzení, jeho podmínky i vztah mezi nimi. Připusťte přirozené změny formulace a větné stavby.
Vraťte false, pokud se možnost změní v příslib, změní se povinnost nebo je podmínka odstraněna či přiřazena k nesprávnému tvrzení. Ve vysvětlení uveďte příslušné formulace ze zdrojového i cílového textu a navrhněte opravu, pokud ji podklady umožňují.
Vraťte null, pokud text neobsahuje žádné relevantní tvrzení nebo dostupné podklady neumožňují porovnání. Vysvětlete, o kterou z těchto situací jde a jaké podklady případně chybí.
Prompt vymezuje konkrétní otázku i důvody, na jejichž základě lze s odpovědí nesouhlasit. Nežádá hodnotitele, aby sám vymyslel celý standard kvality týmu.
Vytvořte měření #
- V části Radar → Měření začněte vytvářet nové měření a zadejte prompt.
- Zadejte výstižný název, například Zachování míry jistoty a podmínek.
- V části Hodnota zvolte Splněno nebo nesplněno pro booleovskou odpověď nebo 0 až 100 pro číselnou stupnici, na které můžete definovat význam mezilehlých hodnot.
- Možnost Povolit „nelze posoudit“ ponechte zapnutou, pokud má hodnotitel mít možnost odpovědět N/A, jako v ukázkovém promptu. Pokud ji vypnete, musí hodnotitel odpovědět splněno, nesplněno nebo uvést skóre.
- Zvolte Spouštěč a Jazyky. Ve formuláři je zpočátku vybrána dokončená lokalizace. Pokud mají podklady přicházet prostřednictvím jiného typu události, výběr změňte. Pokud nevyberete žádné jazyky, zahrnou se všechny cílové jazyky.
- Vyberte Vytvořit měření. Definice se uloží a vybraná podmínka události bude aktivní. Na kartě Obecné můžete tuto podmínku zúžit podle zdrojového jazyka, engine nebo vzorku, případně přidat další typy událostí pomocí Vybrat událost.
Hodnotitel používá vyhodnocovací model spravovaný platformou. Prompt měření neurčuje model pro generování, nemění instrukce lokalizačního engine ani nepřidává způsob nahrávání obsahu. Pro dodávání podkladů nakonfigurujte podporovaný příjem dat.
Seznamte se s pravidly pro odpovědi #
| Typ odpovědi | Vrácené hodnocení |
|---|---|
bool | pass: true, false nebo null. |
score | score: konečná číselná hodnota od 0 do 100 nebo null. |
Oba typy obsahují reasoning a suggestion, které mohou mít hodnotu null. Hodnocení null je dostupné pouze při zapnuté možnosti Povolit „nelze posoudit“. Null znamená, že hodnotitel nemohl poskytnout požadované hodnocení. Jako důvod může uvést, že otázka není pro daný text relevantní, že si není jistý nebo že chybí podklady. Událost, která nesplňuje výběrová kritéria podmínky, se bez dotazu na hodnotitele označí jako N/A bez ohledu na toto nastavení. Procentní hodnota vyjadřuje hodnotu na vámi definované stupnici, nikoli automaticky pravděpodobnost, že je překlad správný.
V historii výsledků se booleovská hodnota nebo skóre zobrazuje prostřednictvím value, valueKind a notApplicable. Než začnete interpretovat číselnou nulu, zkontrolujte indikátor N/A. Stránka Výsledky vysvětluje tento způsob zobrazení i dostupný záznam postupu hodnotitele.
Ověřte, zda prompt rozlišuje zamýšlený rozdíl #
Po uložení podmínky vygenerujte malou sadu podporovaných testovacích událostí nebo pro existující události spusťte historické vyhodnocení za vymezené období. Zahrňte známé chyby i přijatelné překlady: změněný závazek, odstraněnou podmínku, nesouvisející popisek, případ bez zdrojového textu a přirozenou parafrázi, která zachovává význam.
Odpověď si přečtěte společně se skutečným textem. Pokud kontrola označí přijatelnou parafrázi jako chybu, prozkoumejte, která instrukce k tomuto falešnému poplachu vedla. Pokud přehlédne odstraněnou podmínku, formulujte požadavek jednoznačněji a otestujte jej na příkladech, které jste při úpravách promptu nepoužili. Průvodce návrhem měření se podrobněji věnuje kalibraci a vykazování výsledků nad rámec tohoto úvodního nastavení.
Spravujte definici a rozsah #
Vlastní měření patří organizaci. Jejich prompt, název, typ hodnoty a možnost Povolit „nelze posoudit“ lze upravovat na kartě Obecné. Podmínky měření určují jednotlivé typy událostí a zužují jejich výběr podle jazyků, zdrojových jazyků, engine a vzorku. Výběr jazyků se řídí jejich hierarchií: fr vybere také fr-CA, zatímco fr-CA nevybere fr-FR. Viz výběr událostí.
Než změníte kritéria nesplnění, uložte si předchozí definici a užitečné výsledky. Historické vyhodnocení používá aktuální definici a při opakovaném měření stejného období nahradí odpovědi v daném intervalu. Nemůže tedy zachovat obě sady výsledků pro porovnání kritérií. Po odstranění definice zůstanou dříve zaznamenané hodnoty bez ní. Pokud chcete pouze zastavit budoucí kontroly, je vypnutí měření menším zásahem.