AI hodnotitelé

AI hodnocení jsou automatizované kontroly překladů, které vytvářejí vaše lokalizační enginy. Na řídicím panelu se nazývají měření a najdete je v části Radar → Měření. Oba názvy označují totéž. Každé měření odpovídá na jednu otázku týkající se překladu – buď výsledkem „splněno“, či „nesplněno“, nebo skóre od 0 do 100 – a svou odpověď vysvětluje. Hodnocení probíhají asynchronně po dokončení překladu: nikdy ho neblokují, nemění ani nerozhodují o tom, zda bude zveřejněn.

Jak to funguje#

Každá dokončená lokalizace se v Radaru zaznamená jako událost localization.completed, která obsahuje zdrojový a cílový text, oba jazyky, engine a kontext požadavku. Každé měření, které se spouští pro tento typ události a jehož podmínkám daná událost odpovídá, zařadí vyhodnocení do fronty. Odpověď se uloží společně s vyhodnocenou událostí.

Pro překlady vytvářené pomocí engine neexistuje samostatný prostředek hodnotitele. Stejná měření mohou zkoumat také změny překladů získané z připojených zdrojů, například z repozitáře na GitHubu nebo Centra nápovědy Zendesk – právě odtud čerpají podklady níže popsaná měření úprav.

V části Radar → Měření se otevře karta Vestavěná; na kartě Vaše měření najdete měření vytvořená vaší organizací. U každého měření uvidíte, pro které typy událostí se spouští, jaký typ hodnoty vrací, které jazyky zahrnuje, kolik událostí už vyhodnotilo a zda je zapnuté.

Vestavěná měření#

Lingo.dev určuje, co jednotlivá vestavěná měření počítají a pro které typy událostí je lze spouštět. Vaše organizace rozhoduje, zda budou zapnutá a které události budou vyhodnocovat.

Chcete-li měření zapnout, otevřete ho v části Radar → Měření, vyberte jazyky, zdrojové jazyky, engine a vzorek, které má zkoumat, zapněte přepínač Aktivní a zvolte Uložit změny. Vestavěná měření nelze upravovat ani mazat. Dodržování glosáře a dodržování pravidel lze zapnout také pro jednotlivé engine – viz Zapnutí hodnocení pro engine.

Dodržování glosáře #

Kontroluje, zda překlad použil termíny z glosáře, se kterými engine pracuje. Vybírá termíny s odpovídajícím cílovým jazykem, jejichž zdrojový text se vyskytuje ve zdrojovém textu překladu. Vyhodnocovací model pak pro každý z nich vrátí výsledek. Vlastní překlady (např. "Deploy" → "Bereitstellen") mohou mít přirozeně skloňované či časované tvary, nepřekládané termíny (např. "OAuth") musí zůstat beze změny. Pokud si záznamy pro stejný termín odporují, stačí dodržet jeden z nich.

Skóre představuje podíl vrácených výsledků, podle kterých byl termín použit. Pokud se na zdrojový text nevztahuje žádný termín z glosáře, odpověď je N/A.

Dodržování pravidel #

Každé pravidlo, které engine uplatňuje pro cílový jazyk, vyhodnocuje samostatně: dodrženo, nedodrženo nebo nelze použít. Pokud engine uplatňuje tři pravidla, vyhodnocovací model vrátí tři výsledky, každý s vlastním zdůvodněním.

Skóre představuje podíl dodržených pravidel z těch, která se na obsah vztahovala. Pravidlo, které se na obsah nevztahuje – například pravidlo vykání u překladu obsahujícího pouze název produktu – se nezapočítává. Pokud se na obsah nevztahuje žádné pravidlo, skóre se neurčí.

Obě kontroly čtou termíny glosáře a pravidla engine v podobě platné při spuštění kontroly. Nepoužívají uložený snímek toho, s čím engine pracoval při vytváření překladu.

MQM#

MQM žádá model o seznam chyb v překladu, nikdy o jeho bodové hodnocení. Každá chyba uvádí přesná chybná slova, jednu ze sedmi dimenzí MQM Core – přesnost, terminologii, jazykové konvence, styl, konvence daného jazyka, vhodnost pro cílovou skupinu, design a značkování – dále závažnost a jednořádkový popis problému. Pokud je v události uveden engine, model má k dispozici také jeho hlas značky pro daný jazyk, pravidla a termíny glosáře použité ve zdrojovém textu.

Skóre se vypočítá z tohoto seznamu. Chyby, jejichž slova se v překladu nevyskytují, se vyřadí. Každá zbývající chyba má váhu podle závažnosti: neutrální 0, drobná 1, závažná 5 nebo kritická 25. Součet se pak přepočítá na 100 slov zdrojového textu:

max(0, 100 − 100 × summed error weights / source word count)

Hodnota 100 znamená, že překlad neobsahuje žádné chyby. Stejný vzorec určuje skóre i pro jednotlivé dimenze. U písem bez mezer, například v čínštině, japonštině, korejštině a thajštině, se každý znak počítá jako jedno slovo. Pokud zdrojový text neobsahuje žádná slova, odpověď je N/A.

Míra úprav, vzdálenost úprav a vzorce úprav#

Tato tři měření porovnávají změněný překlad s předchozí verzí řetězce. Tam, kde překlady zapisuje samo Lingo.dev – při synchronizaci Centra nápovědy Zendesk nebo v repozitáři, do kterého GitHub App ukládá překlady prostřednictvím commitů nebo je odesílá CLI – vracejí výsledek jednou pro každou verzi zapsanou Lingo.dev a jednou pro změnu, kterou v ní provede člověk:

• Verze zapsaná Lingo.dev má výsledek beze změny: míra úprav false a vzdálenost úprav 0.
• Verze upravená člověkem, která bezprostředně následuje po verzi zapsané Lingo.dev, se s ní porovná: míra úprav true, vzdálenost úprav a jejich vzorce.
• Další úpravy provedené člověkem, návrat k textu Lingo.dev a změna, která se od textu Lingo.dev liší pouze bílými znaky, mají výsledek N/A.

Každé false tedy představuje jeden překlad zapsaný Lingo.dev a každé true jeden překlad změněný člověkem. Pokud člověk změní 5 ze 100 překladů zapsaných Lingo.dev, míra úprav je 5 %.

V části Prozkoumat vám Logická hodnota s agregací Průměr ukáže tuto míru přímo: každý překlad vytvořený službou Lingo.dev se započítá právě jednou – jako úspěšný, pokud ho někdo upravil, a jako neúspěšný, pokud ho nikdo neupravil. Samotná změna se už znovu nezapočítává. Změna se přiřadí k období, kdy vznikl upravený překlad, takže hodnota za nedávný týden může růst podle toho, jak lidé upravují překlady z tohoto týdne.

Míra úprav před porovnáním odstraní bílé znaky na začátku a na konci a sloučí jejich posloupnosti uvnitř textu, takže Save changes a Save changes se považují za beze změny. Vzdálenost úprav je Levenshteinova vzdálenost mezi původními texty – počet vložení, odstranění a nahrazení – vydělená délkou delšího textu a vynásobená 100. U textů příliš dlouhých na porovnání je odpověď N/A. Obě měření posuzujte společně, abyste odlišili časté drobné opravy od občasných přepisů. Vzorce úprav zařazují změnu do kategorií, jako jsou jazykový rejstřík, volba slov, terminologie, změna pořadí, gramatika, interpunkce, přidání, vynechání, chybný překlad a formátování.

Žádné z těchto tří měření neposuzuje, která formulace je lepší, ani neměří čas strávený úpravami.

Zapnutí hodnocení pro engine #

Karta Hodnotitelé v engine má dvě části:

Automatická kontrola obsahuje přepínač pro Dodržování glosáře a další pro Dodržování pravidel. Zapnutím přepínače přidáte engine do příslušného vestavěného měření a zároveň měření zapnete; vypnutím přepínače engine odeberete. Nastavení jazyků a vzorku měření zůstane beze změny. Pokud se vestavěné měření spouští pro všechny engine, má každý engine přepínač zapnutý. Vypnutím jednoho engine se uloží seznam ostatních aktuálních engine. Později vytvořený engine se proto nebude hodnotit, dokud ho nepřidáte. Pokud váš plán účtuje hodnocení podle využití, zobrazí se v této části Účtováno za spuštění s příslušnou sazbou.

Část Návrhy obsahuje přepínače pro Návrhy engine, které reagují na nízké výsledky vlastních měření, nikoli je vytvářejí.

MQM a vlastní měření na této kartě nenajdete. MQM zapněte v Radaru a engine pro vlastní měření vyberte v jeho podmínce.

Vlastní měření #

Vlastní měření formuluje některý z vašich požadavků na kvalitu dostatečně přesně, aby ho bylo možné ověřit: zachování upřesnění, dodržení požadavku na hlas značky nebo rozlišení dvou produktových pojmů. Měření patří organizaci.

Odpovědi Splněno nebo nesplněno se souhrnně zobrazují jako míra úspěšnosti – 75 % znamená, že 3 ze 4 vyhodnocených překladů splnily kritérium. Odpovědi 0 až 100 se shrnují pomocí průměru. Procento představuje hodnotu na škále definované vaším zadáním, nikoli pravděpodobnost, že je překlad správný.

Vyberte, které překlady se mají hodnotit#

Každá podmínka – stejně jako nastavení jednotlivých vestavěných měření – omezuje výběr událostí daného typu:

Změny použijete volbou Uložit změny. Výběr jazyků se řídí jejich hierarchií, nikoli přesnou textovou shodou: fr vybere také fr-CA a fr-CA nevybere fr-FR. Požadavek zaznamenaný bez engine nesplní podmínku omezenou na konkrétní engine.

O zařazení do vzorku se rozhoduje pro každou kombinaci události a měření zvlášť. Při opětovném vyhodnocení tak stejná událost zůstane do daného vzorku zahrnutá, nebo z něj vyloučená. U malé dávky se skutečný podíl vybraných událostí může lišit od nastaveného.

Událost vybraného typu, která nesplní podmínky selektoru, přesto dostane odpověď N/A. Její odůvodnění začíná slovy „Podmínka nesplněna“ a uvádí název selektoru. Taková odpověď se neúčtuje. Tyto odpovědi nezahrnujte do jmenovatele při výpočtu kvality, ale zohledněte je, když uvádíte, jaká část objemu překladů prošla hodnocením.

Přepínač Zapnuto zapíná nebo vypíná všechny podmínky měření najednou. Vypnutím zastavíte budoucí hodnocení; úlohy, které už jsou ve frontě, se ale mohou dokončit.

Jak psát instrukce #

Základem vlastního měření je prompt. Hodnotiteli přesně říká, co má kontrolovat. Formulujte ho jako konkrétní, ověřitelné kritérium.

Dobré instrukce#

Vyhovuje, nebo nevyhovuje:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

0 až 100:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

Co dělá instrukci dobrou#

• Konkrétní kritéria – přesně definujte, co znamená vyhovující a nevyhovující výsledek nebo co představují hodnoty 0 a 100
• Pozorovatelné výsledky – hodnotitel by měl dokázat rozhodnout z textu, ne odhadovat záměr
• Jeden aspekt na měření – kontroly více aspektů kvality rozdělte do samostatných měření
• Kdy nehodnotit – pokud je zapnutá možnost Povolit odpověď N/A, uveďte, kdy se kritérium neuplatňuje, aby se překlad, na který se kritérium nevztahuje, nezaměnil s překladem, u kterého chybí podklady pro hodnocení

Než se na odpovědi nového měření začnete spoléhat u velkého množství překladů, otestujte ho na překladech, které můžete sami posoudit – jak na těch se známými chybami, tak na přijatelných parafrázích.

Odpovědi N/A#

Pokud je zapnutá možnost Povolit odpověď N/A, může hodnotitel místo verdiktu nebo skóre odpovědět N/A – například při kontrole vykání v jazyce, který nerozlišuje mezi formálním a neformálním oslovením. Odpovědi N/A se nezahrnují do průměrů ani do podílu vyhovujících výsledků; skóre nesnižují ani nezvyšují. Pokud je tato možnost vypnutá, musí hodnotitel uvést vyhovující či nevyhovující výsledek nebo skóre. Událost, která nesplní podmínku, dostane odpověď N/A bez dotazu na hodnotitele, a to bez ohledu na toto nastavení.

Jak číst odpovědi#

Každá odpověď obsahuje odůvodnění a také návrh opravy, pokud pro něj existují podklady.

• Radar → Logy → Měření zobrazuje všechny odpovědi. Filtrujte podle polí Měření a Hodnota a pak otevřete konkrétní odpověď. Najdete v ní hodnotu, odůvodnění, návrh i požadavek hodnotitele.
• Na kartě Protokoly u engine najdete pro každý požadavek na překlad sloupec Kontrola. Uvádí průměr nejnovějších odpovědí jednotlivých vlastních měření: vyhovující výsledek se počítá jako 100, nevyhovující jako 0 a N/A se vynechává. Pokud byly všechny odpovědi N/A, zobrazí se N/A. Pokud žádná odpověď neexistuje, zobrazí se Nezkontrolováno. Dodržování glosáře, dodržování pravidel a MQM se do tohoto sloupce nezapočítávají.
• Reporty zobrazují vývoj odpovědí v čase v přehledu Radaru a v části Prozkoumat.

Nevyhovující výsledek nebo nízké skóre vlastního měření u překladu z engine může také spustit Návrhy engine. Samotná odpověď překlad nemění.

Vyhodnocení stávajících překladů#

Měření, které zapnete dnes, vyhodnocuje nové události. Chcete-li ho použít i na dříve shromážděné události, otevřete jeho kartu Zpětné vyhodnocení a vyberte časové období. Údaj Vyhodnoceno v horní části ukazuje, kolik událostí z daného období už měření vyhodnotilo, a to celkem i podle jednotlivých zdrojů – například u repozitáře „1 180 z 7 600“. Pod daty najdete počty událostí za dané období rozdělené podle zdroje – jednotlivých repozitářů GitHub, Center nápovědy Zendesk, projektů Crowdin a Lingo.dev – a podle typů událostí, na které se vztahují aktivní podmínky měření. Uvidíte tak, které události bude zpětné vyhodnocení zpracovávat. Můžete vyhodnotit pouze události, které ještě nemají výsledek, nebo znovu vyhodnotit celé období a nahradit v něm předchozí výsledky měření. Před opětovným vyhodnocením si uložte definice a výsledky, které potřebujete k porovnání.

Model pro kontrolu#

Hodnoticí model si nevybíráte. Dodržování glosáře, dodržování pravidel, MQM, vzorce úprav a vlastní měření vyhodnocuje model určený platformou. Ten se konfiguruje odděleně od modelů, které engine používá k překladu. Míra úprav a editační vzdálenost se počítají bez modelu.

Úprava nebo odstranění měření#

Prompt, název, typ hodnoty nebo možnost Povolit odpověď N/A vlastního měření upravíte na kartě Obecné, kde můžete změnit i jeho podmínky. Poté vyberte Uložit změny. Změnou kritéria se mění význam budoucích odpovědí, proto si spolu s výsledky, které budete používat pro porovnání, uchovejte i původní definici.

Odstraněním vlastního měření smažete jeho definici a podmínky. Zaznamenané odpovědi zůstanou zachované a zobrazí se jako Neznámé měření. Do sloupce Kontrola u engine se už nezapočítávají. Chcete-li zastavit budoucí hodnocení a zachovat definici, měření místo odstranění vypněte.

Správa měření přes MCP#

Pokud používáte Lingo.dev MCP server, váš AI asistent pro programování může zobrazovat seznam měření, vytvářet je a aktualizovat, nastavovat jejich podmínky, zapínat je či vypínat a číst jejich odpovědi:

"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."

"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

Další kroky#