Navrhněte měření kvality překladu

Převeďte jazykový požadavek na ověřitelné kritérium, zkalibrujte jeho odpovědi a sledujte četnost i rozsah problémů, které odhalí.

Skóre kvality má smysl, pokud lze vysvětlit, co by vedlo k jeho změně. Když z překladu zmizí důležitá podmínka, měření by mělo tuto ztrátu odhalit. Když překladatel vyjádří stejnou myšlenku přirozeněji, mělo by takovou odlišnost vyhodnotit jako přijatelnou. Navrhnout měření znamená popsat tyto rozdíly natolik přesně, aby je bylo možné ověřit.

Tento průvodce vás provede od vymezení požadavku přes kalibraci až po vykazování výsledků. Postup platí bez ohledu na to, zda překlady pocházejí od dodavatele, z interní pipeline nebo z Lingo.dev. Výsledkem je měření, které může za stejných podmínek provést a interpretovat i někdo jiný — ne číslo, jehož význam musí vysvětlovat sám autor.

Vymezte podstatnou změnu významu #

Začněte tím, čeho má obsah dosáhnout. Instrukce musí vést ke správnému jednání. Tvrzení si musí zachovat svou sílu i omezující podmínky. Produktový termín musí v jiném jazyce označovat stejný pojem. „Přesný překlad“ pojmenovává cíl, ale tyto rozdíly výslovně nevymezuje.

Zaměřte se na míru jistoty a podmínky. Ve spojení může být dostupné po schválení nesou význam možnost, nutnost schválení i jejich vzájemný vztah. Pokud překlad z této formulace udělá bezpodmínečný příslib, mění tím tvrzení, i když zachovává slova vyjadřující dostupnost a schválení.

Kritérium pro toto rozlišení může znít takto:

Příklad kritéria: zachování tvrzení a podmínek

Porovnejte tvrzení ve zdrojovém textu s tvrzením v překladu. Ověřte, zda překlad zachovává:

  • Míru jistoty nebo závaznosti.
  • Každou podmínku, která omezuje platnost tvrzení.
  • Vztah mezi podmínkou a tvrzením.

Připouštějte jiné formulace i větnou stavbu, pokud tyto významy zachovávají. Při podezření na chybu označte příslušné pasáže ve zdrojovém textu i překladu a vysvětlete, jak se změnil závazek nebo podmínka. Pokud dostupný text k porovnání nestačí, vysvětlete, co chybí.

Kritérium dává hodnotiteli konkrétní, pozorovatelný jev k posouzení. Zároveň poskytuje tomu, kdo výsledek kontroluje, oporu pro případný nesouhlas. Vágní požadavek „zkontrolujte přesnost“ nechává na obou stranách, aby si každá stanovila vlastní měřítko.

Zvolte rozsah podle rozhodnutí, které má následovat. K vyhledání tvrzení vyžadujících podrobnější kontrolu potřebujete spolehlivou detekci a srozumitelná zjištění. Porovnání poskytovatelů navíc vyžaduje společný vzorek a způsob, jak zjištění shrnout. Rozhodnutí o zveřejnění konkrétní položky se musí opírat o požadavky, které pro ni platí. Stejná kontrola může být podkladem pro všechna tři rozhodnutí, aniž by je sama nahrazovala.

Vyberte text, na kterém lze otázku zodpovědět #

Vymezte jednotku měření. U výše uvedeného kritéria použijte jedno tvrzení ze zdrojového textu a odpovídající tvrzení v překladu, včetně dostatečného kontextu pro výklad podmínky. Uchovávejte společně ID obsahu, revizi zdrojového textu, revizi překladu a jazyk. Správný překlad staršího zdrojového textu se při porovnání s jeho novou verzí může jevit jako chybný.

Vyberte obsah, v němž se zkoumaný rozdíl skutečně vyskytuje. Navigační popisek bez tvrzení do rozsahu tohoto kritéria nespadá. Pokud ho započítáte jako vyhovující, zlepšíte podíl úspěšných výsledků, ale o zachování míry jistoty nebo podmínek to nic nevypoví.

Chybějící podklady představují jiný problém. Pokud k vybranému tvrzení chybí odpovídající zdrojový text, stále patří do posuzovaného souboru, ale porovnání zatím nelze provést. Tento nedostatek musí zůstat viditelný. Když není jasné, zda se kritérium na položku vztahuje, zaznamenejte nejistotu, místo abyste ji bez vysvětlení vyřadili.

Dodejte kontext, který může ovlivnit odpověď. Definice termínu nebo produktové pravidlo mohou vyřešit nejednoznačnost; nesouvisející obsah může jen odvádět pozornost. Kontrola pravopisu samotného překladu vyžaduje méně podkladů než porovnání jeho významu se zdrojovým textem. O tom, co shromáždit, rozhoduje položená otázka.

Dejte každé odpovědi jasný význam #

U příkladu se zachováním tvrzení stačí tři odpovědi:

OdpověďVýznam
ZachovánoPřeklad zachovává míru jistoty, závazky a příslušné podmínky zdrojového textu. Významově rovnocenné formulace jsou přípustné.
ZměněnoKonkrétní část tohoto významu se změnila nebo zmizela. Zjištění označuje dotčené pasáže.
Nelze určitHodnotitel dokončil porovnání, ale dostupné podklady mu neumožnily doložit ani jeden ze závěrů. Ve vysvětlení uvádí, v čem nejistota spočívá.

Jde o metodická označení, nikoli o schéma API. Přiřaďte je ke skutečnému formátu odpovědí nástroje, který používáte. Například vlastní měření typu boolean v Radaru může vrátit true, false nebo odpověď null s odůvodněním. Odůvodnění si projděte, protože null může mít různé příčiny.

Číselnou škálu použijte tehdy, když mezilehlé úrovně vyjadřují užitečný rozdíl. Vymezte je tak, aby je člověk provádějící kontrolu dokázal rozpoznat. Hodnota 80 musí znamenat něco přesnějšího než „docela dobré“. Pokud záleží na závažnosti, definujte ji podle důsledků chyby a při slučování výsledků nenechte závažná zjištění zapadnout. I při vysokém průměru může v zásadní pasáži zůstat nepřijatelná změna.

Neúspěšný požadavek neposkytuje dokončenou odpověď na jazykovou otázku. Veďte ho odděleně od případu, kdy hodnotitel práci dokončil a vrátil odpověď „Nelze určit“. Na tomto rozlišení závisí, zda je dalším krokem obnovení zpracování, nebo vyřešení nejednoznačnosti v podkladech.

Otestujte měření na případech se známým výsledkem #

Připravte kalibrační sadu z obsahu, který je tým oprávněn hodnotit. Zahrňte jednoznačné chyby, dobré překlady, přirozené parafráze i případy, u nichž odpověď závisí na kontextu. Zařaďte také obsah mimo rozsah kritéria, abyste otestovali nejen posuzování, ale i výběr.

Nechte kvalifikované osoby provádějící kontrolu stanovit očekávané odpovědi a jejich odůvodnění. I neshody přinášejí důležité informace. Pokud zdrojový text připouští dva výklady, vyjasněte zamýšlený význam, nebo nejistotu zachovejte. Pokud je měřítko jasné, ale hodnotitel odmítá přijatelnou parafrázi, je třeba měření vylepšit.

Posuzujte odděleně dva druhy chyb:

  • Falešné poplachy jsou přijatelné překlady označené jako chybné. Zbytečně zaměstnávají lidi při kontrole a mohou vést k nepotřebným úpravám.
  • Neodhalené chyby jsou skutečné problémy, které měření nerozpozná. Jejich důsledky závisejí nejen na četnosti výskytu, ale také na tom, jaký význam se ztratil.

Upravené měření otestujte na příkladech, které jste nepoužili při tvorbě jeho instrukcí. Pokud hodnocení provádí LLM, uchovejte údaje o modelu, promptu, konfiguraci a pozorovaných rozdílech mezi opakovanými spuštěními. Shoda s vlastními dřívějšími odpověďmi ještě nedokládá shodu s měřítkem týmu.

Výsledkem kalibrace by měl být konkrétní přehled o tom, kde kontrola funguje a kde potřebuje více podkladů. Metoda ověřená na jednom typu obsahu a jedné jazykové dvojici je užitečný začátek, nikoli závěr platný pro všechny překlady, které firma vytváří.

Uvádějte problémy i rozsah posuzovaného obsahu #

Jakmile se kontrola osvědčí na známých případech, použijte ji na vymezený soubor nebo vzorek. Zaznamenejte, jak jste vzorek vybrali. Z náhodného vzorku lze vyvozovat jiné závěry než ze vzorku vybraného proto, že jiná kontrola už označila překlady za rizikové. Druhý typ může pomoci najít problémy, ale nemusí umožnit odhad jejich četnosti v celém obsahu.

Podívejte se na tento ukázkový výsledek pro 100 vybraných dvojic zdroje a překladu, které splňují podmínky pro zařazení:

VýsledekDvojice
Význam zachován72
Význam změněn8
Dokončeno, ale nelze určit10
Bez dokončeného hodnocení10

Hodnocení bylo dokončeno u 90 % vybraných dvojic. Jednoznačnou odpověď přineslo u 80 %. Z těchto 80 odpovědí jich 8 označilo změnu, což představuje 10% podíl zjištěných problémů mezi jednoznačnými odpověďmi. U zbývajících 20 dvojic nelze doložit ani zachování, ani změnu významu.

Důležité jsou všechny tři veličiny. Celkem 72 případů zachovaného významu z 80 jednoznačných odpovědí představuje 90% podíl vyhovujících výsledků mezi jednoznačnými odpověďmi. Samotný údaj „90 % vyhovělo“ by zakryl 10 dokončených hodnocení s odpovědí „Nelze určit“ a 10 dvojic bez dokončeného hodnocení. Také 10% podíl zjištěných problémů je stále jen výsledkem tohoto měření na tomto výběru. K jeho interpretaci jako obecnější míry chybovosti potřebujete vhodný vzorek a podklady o falešných poplaších i neodhalených chybách.

Rozčleňte výsledky podle jazyků a typů obsahu, které mohou ovlivnit rozhodnutí. Uvádějte počty i podíly. Pokud je u některého jazyka málo jednoznačných odpovědí, prozkoumejte příčinu dřív, než se tento nedostatek ztratí v uklidňujícím celkovém čísle. Uchovejte příklady opakujících se problémů, aby ze zprávy bylo jasné, co by tým konkrétně zlepšoval.

Zachovejte smysluplné porovnání i po změně #

Uložte kritérium a jeho konfiguraci společně s podklady použitými k porovnání. Pokud se změní prompt, model, pravidlo pro zařazení nebo původní požadavek, otestujte novou definici dřív, než začnete její výsledky považovat za návazné na ty předchozí.

Chcete-li porovnat dvě měření, vyhodnoťte tentýž uchovaný text podle obou definic. Chcete-li porovnat dva přístupy k překladu, zachovejte stejná kritéria a příslušné podmínky. Jinak může změna skóre vypovídat o nové otázce nebo snazším obsahu, nikoli o lepších překladech.

Před novým vyhodnocením historie uchovejte podklady pro porovnání

Historické hodnocení v Radaru nahrazuje dřívější odpovědi pro vybrané měření a časový interval. Než ho použijete, uložte předchozí definice a výsledky potřebné k porovnání. Opětovné spuštění neuchová obě strany experimentu.

Měření je připravené k použití, když i někdo jiný dokáže vybrat zamýšlený text, dodat k němu podklady, vysvětlit každou odpověď a zopakovat vykázaný výpočet. K zavedení kontroly použijte měření událostí nebo lokální skórování pomocí CLI. Pro průběžné externí workflow popisuje průvodce Měřte překlady z vaší pipeline sběr dat a obnovu po selhání. Průvodce Ověřte zjištění o kvalitě se věnuje navazujícímu kroku: rozhodnutí, zda je nahlášený problém skutečný.