Vestavěná měření

Zjistěte, jak fungují vestavěné kontroly kvality a úprav: jaké používají vstupy, algoritmy a škály odpovědí a jak postupují, když chybí podklady.

Vestavěná měření odpovídají na konkrétní otázky o překladu nebo úpravě. Míra úprav zjišťuje, zda se dva texty liší. Dodržování glosáře zjišťuje, zda byly použity příslušné termíny. Společně jsou tyto hodnoty užitečné, pokud si každá zachová svůj význam. Netvoří univerzální škálu kvality.

Tyto kontroly zapnete v části Měření. Dodržování glosáře a pravidel můžete zapnout také pro jednotlivé engine na kartě Hodnotitelé, jak popisuje dokument Kontrola překladů Lingo.dev. Tato referenční příručka vysvětluje, co jednotlivé kontroly počítají a o jaké podklady se jejich odpovědi mohou opírat.

MQM #

MQM požádá model, aby vypsal pouze chyby překladu, nikdy skóre. U každé chyby vrátí přesná slova, která jsou chybná, jednu ze sedmi dimenzí MQM Core (přesnost, terminologie, jazykové konvence, styl, konvence daného jazyka, vhodnost pro cílovou skupinu, design a značkování), závažnost (neutrální, drobná, závažná nebo kritická) a jeden řádek s popisem problému. Pokud událost uvádí lokalizační engine, model má k dispozici také jeho aktuální instrukce: hlas značky pro daný jazyk, pravidla a termíny glosáře použité ve zdrojovém textu spolu s kontextem požadavku.

MQM posuzuje také změny překladů: každé vytvoření a každou aktualizaci cílového textu bez ohledu na autora. Ve službách Zendesk a GitHub se verze zapsaná službou Lingo.dev, vymezená stejně jako níže u míry úprav, posuzuje podle hlasu značky, pravidel a termínů glosáře použitých při jejím překladu. Odpověď přitom uvádí úlohu, která ji vytvořila. Jakákoli jiná verze, například ruční úprava, vrácení změny, překlad z jiného nástroje nebo změna ve službě Crowdin, se posuzuje bez instrukcí jakéhokoli engine. Pole isLingoRecord v odpovědi tyto dvě možnosti rozlišuje: false pro tyto ostatní verze a true pro všechny zbývající odpovědi včetně dokončených lokalizací. Explore tak může porovnávat překlady Lingo.dev s ostatními. Změny překladů neuvádějí žádný engine, takže podmínka MQM omezená na engine pro ně vrací N/A.

Skóre se vypočítá z tohoto seznamu. Chyby, jejichž slova se v překladu nevyskytují, se vyřadí. Každá zbývající chyba má váhu podle závažnosti: neutrální 0, drobná 1, závažná 5 a kritická 25. Součet se normalizuje na 100 zdrojových slov:

text
max(0, 100 − 100 × summed error weights / source word count)

Hodnota 100 znamená, že nebyly nalezeny žádné chyby. Stejný vzorec určuje skóre pro každou dimenzi. Zdrojová slova se počítají v textových hodnotách, nikoli v jejich klíčích. U písem bez mezer, například v čínštině, japonštině, korejštině a thajštině, se každý znak počítá jako jedno slovo. Pokud zdroj neobsahuje žádná slova, vrátí se N/A bez dotazu na model.

MQM se spouští při událostech dokončené lokalizace a při vytváření a aktualizaci cílových textů. Dodržování glosáře a dodržování pravidel se nastavují pro události dokončené lokalizace. Míra úprav, editační vzdálenost a vzorce úprav se spouštějí při vytváření a aktualizaci cílových textů. Povolené typy událostí pro vestavěná měření určuje platforma. Při zapínání měření zkontrolujte jeho aktuální nastavení.

Míra úprav #

Míra úprav porovnává změnu cílového textu s předchozí verzí řetězce: s posledním dřívějším vytvořením nebo aktualizací cílového textu pro stejný řetězec a jazyk. Pokud takový záznam neexistuje, použije text před změnou, který událost obsahuje. Před porovnáním odstraní bílé znaky na začátku a na konci a každou posloupnost bílých znaků uvnitř textu nahradí jednou mezerou. Řetězec bez předchozí verze se vyhodnotí jako nezměněný.

Tam, kde překlady zapisuje přímo Lingo.dev, poskytují tři měření úprav odpověď pro každou verzi zapsanou službou Lingo.dev i pro změnu, kterou v ní provede člověk. Lingo.dev zaznamenává každý předaný překlad: to, co jeho synchronizace zapíše do služby Zendesk nebo uloží commitem do služby GitHub, i to, co vrátí API, CLI a CI. Verze se považuje za verzi Lingo.dev, pokud ji zapsala přímo služba Lingo.dev, což lze rozpoznat podle commitu nebo časového razítka ze služby Zendesk, nebo pokud obsahuje poslední překlad, který Lingo.dev pro daný řetězec před touto verzí předalo, například překlad vytvořený pomocí CLI. Každý překlad se započítá jednou, u první verze, která jej obsahuje. Verze, která jej obnoví po ruční změně, se považuje za vrácení změny daným člověkem.

V těchto případech se verze zapsaná službou Lingo.dev vždy vyhodnotí jako nezměněná: míra úprav false a editační vzdálenost 0, zatímco vzorce úprav vrátí „nelze použít“. Ručně vytvořená verze, která bezprostředně následuje po verzi Lingo.dev, se porovná s touto verzí. Výsledkem je míra úprav true, vzdálenost změny a její vzorce úprav. Pokud člověk ponechal text Lingo.dev beze změny s výjimkou bílých znaků, změna se vyhodnotí jako „nelze použít“ („Člověk ponechal text Lingo.dev“). Totéž platí pro změnu verze, kterou Lingo.dev nezapsalo, nebo pokud předchozí verze není zaznamenána („Lingo.dev nezapsalo předchozí verzi“), včetně dalších ručních úprav a vrácení textu na podobu od Lingo.dev. Každá odpověď false tedy představuje jeden překlad zapsaný službou Lingo.dev a každá odpověď true překlad, který člověk změnil. Míra úprav je podíl odpovědí true na odpovědích false, takže 5 změněných překladů ze 100 překladů zapsaných službou Lingo.dev znamená 5 %. Průměrná editační vzdálenost na překlad zapsaný službou Lingo.dev je obdobně součet vzdáleností změn vydělený počtem verzí Lingo.dev.

V jiných zdrojích, například ve službě Crowdin, Lingo.dev žádné překlady nezapisuje. Změna se proto porovnává s předchozí verzí bez ohledu na to, kdo kterou vytvořil.

OdpověďVýznam
trueNormalizované texty se liší; ve službách Zendesk a GitHub člověk změnil verzi Lingo.dev.
falseNormalizované texty se shodují nebo řetězec mimo služby Zendesk a GitHub nemá předchozí verzi; ve službách Zendesk a GitHub tuto verzi zapsalo Lingo.dev.
N/AVe službách Zendesk a GitHub člověk ponechal text Lingo.dev nebo Lingo.dev nezapsalo předchozí verzi.

Například Save changes a Save changes se při porovnání vyhodnotí jako nezměněné. Save changes a Apply changes se vyhodnotí jako upravené. Ani jeden výsledek neurčuje, která formulace je lepší.

Pokud návrh existuje, ale cílové pole chybí, implementace porovná návrh s prázdným cílovým textem. Než takový výsledek budete považovat za dokončenou ruční úpravu, zkontrolujte podklady události. Za celou kolekci vykazujte podíl porovnání se změnou na použitelných porovnáních návrhu s cílovým textem a chybějící porovnání uvádějte samostatně.

Editační vzdálenost #

Editační vzdálenost počítá Levenshteinovu vzdálenost původních, nenormalizovaných textů: počet vložení, odstranění a nahrazení potřebných k převedení jednoho textu na druhý. Tuto vzdálenost vydělí délkou delšího textu a vynásobí 100.

Nula znamená totožný text. Vyšší hodnota znamená větší změnu textu. Dva prázdné řetězce dávají nulu, stejně jako řetězec bez předchozí verze. Chybějící cílový text se považuje za prázdný, stejně jako u míry úprav.

Implementace porovnává kódové jednotky UTF-16, nikoli slova nebo znaky tak, jak je vnímá uživatel. Přeskočí shodný začátek a konec obou textů. Pokud odlišné části stále tvoří více než přibližně 3,2 miliardy dvojic znaků, například u dvou nesouvisejících textů po 57 000 znacích, vrátí odpověď „nelze použít“ s důvodem „Texty jsou příliš dlouhé na porovnání“. Bílé znaky mohou zvyšovat editační vzdálenost, i když míra úprav označí dvojici jako nezměněnou. Změna o jednu jednotku má také větší vliv na procentuální hodnotu u krátkého řetězce než u dlouhého.

Používejte obě měření úprav společně, abyste odlišili časté drobné změny od občasných rozsáhlých přepisů. Mimo služby Zendesk a GitHub nejprve ověřte, které verze se porovnávají: předchozí verze může být dřívější úpravou, nikoli dodaným překladem. Ani jedno měření neurčuje počet opravených chyb, strávený čas ani zlepšení kvality.

Při agregaci vzdálenosti uveďte způsob výpočtu. Průměrování procent jednotlivých dvojic dává každé dvojici stejnou váhu. Vydělení celkové nenormalizované vzdálenosti celkovou délkou porovnání dává větší váhu delším textům. Odpověď pro jednotlivou událost neurčuje, který z těchto vzorců použít.

Dodržování glosáře #

Dodržování glosáře porovnává zdrojový a cílový text s termíny přiřazenými k lokalizačnímu engine v době vyhodnocení. Vyžaduje zdrojový text, cílový text a identifikaci lokalizačního engine. Z přiřazených termínů vybírá ty, které odpovídají cílovému jazyku a jejichž zdrojové znění se vyskytuje ve zdrojovém textu. Používá přitom vyhledávání podřetězce bez rozlišení velikosti písmen.

Hodnotitel posuzuje každý dodaný termín. Jeho instrukce umožňují přirozené skloňování a časování vlastních překladů, vyžadují zachování nepřekládaných termínů beze změny, dovolují běžný překlad, pokud kontextová nápověda zjevně neplatí, a přijímají jednu z několika vzájemně si odporujících položek pro stejný termín. Vysoké skóre tedy nepotvrzuje, že je správné mít v glosáři protichůdné definice.

Skóre se počítá takto:

text
returned findings marked applied / all returned term findings × 100

Počítají se vrácená zjištění, nikoli každý výskyt termínu nebo každá položka v glosáři organizace. Opomenuté termíny se promítají do vysvětlení. Pokud hodnotitel nevrátí žádná zjištění, dokončená odpověď nemá určitelné skóre.

Výsledek N/A se může vrátit ještě před spuštěním hodnotitele, pokud chybí povinná pole, nenajde se odpovídající lokalizační engine či přiřazené termíny nebo se ze zdroje nevyberou žádné termíny. Přečtěte si důvod. Skutečně nerelevantní termín nepotřebuje posouzení. U zprávy, pro kterou měly být k dispozici terminologické podklady, však jejich absence stále znamená mezeru v podkladech.

Toto měření používá aktuální instrukce jak u průběžně zpracovávaných událostí, tak při zpětném doplnění. Nerekonstruuje glosář použitý při generování. Část Požadavky zobrazuje zdrojovou dávku a jednotlivé pokusy modelu, nikoli úplný snímek zadání nebo glosáře. Před porovnáváním vyhodnocení historických událostí si uložte odeslaný kontext a definice příslušných termínů. Schválené změny terminologie pak provádějte v části Glosáře.

Dodržování pravidel #

Dodržování pravidel využívá zdrojový text, cílový text, identifikaci lokalizačního engine a aktuální přiřazená pravidla platná pro cílový jazyk. Hodnotitel vrátí pro každé dodané pravidlo jedno zjištění: dodrženo, nedodrženo nebo null, pokud se pravidlo neuplatňuje.

Skóre se počítá takto:

text
returned findings marked followed / returned non-null rule findings × 100

Zjištění s hodnotou null se nezapočítávají. Pokud mají všechna vrácená zjištění hodnotu null, může hodnotitel dokončit vyhodnocení bez celkového skóre. Chybějící podklady o zdrojovém textu, cílovém textu nebo lokalizačním engine naopak mohou spuštění hodnotitele zabránit. Obě situace se mohou zobrazit jako N/A, proto zkontrolujte důvod a dostupné podklady o průběhu vyhodnocení.

Než překlad změníte, přečtěte si nedodržené pravidlo a slova, kterých se týká. Nejednoznačné nebo protichůdné pravidlo může vyžadovat upřesnění v části Pravidla. Stejně jako u dodržování glosáře používá vyhodnocení historických událostí aktuální přiřazené instrukce, nikoli snímek z doby generování.

Vzorce úprav #

Analýza vzorců úprav žádá model, aby zařadil změny mezi návrhem a cílovým textem do kategorií. Jednomu porovnání může přiřadit několik kategorií:

ŠtítekPopisovaná změna
registerFormálnost nebo zdvořilost.
word_choiceJiná formulace se stejným významem.
terminologyProduktový nebo oborový termín.
reorderingPořadí slov nebo vět.
grammarShoda, pád, čas nebo jiný gramatický jev.
punctuationInterpunkce nebo mezery.
additionDoplnění významu, který návrh vynechal.
omissionOdstranění významu, který návrh přidal.
mistranslationZměna interpretace významu.
formattingZástupné symboly, značkování, velikost písmen nebo čísla.

Klasifikátor přeskakuje řetězce bez předchozí verze a texty, které se po normalizaci bílých znaků shodují. Jeho štítky popisují předpokládané typy změn, nikoli nezávisle potvrzené chyby nebo časové úspory.

Současné operace pro načítání seznamu výsledků a detailu vracejí pouze odpovědi s logickými a číselnými hodnotami. Přestože definice rozhraní detailu obsahuje pole answer pro strukturovaná data, tyto operace aktuálně nevracejí uložené řádky JSON se vzorci úprav. Pracujte s dostupnými porovnáními úprav a textem, který jste zkontrolovali, místo abyste od těchto operací očekávali export rozdělený do kategorií.

Použití a interpretace #

Míra úprav a editační vzdálenost počítají odpovědi bez nákladů na LLM. Spotřeba úspěšně provedených měření se účtuje samostatně, takže nulové náklady na model neznamenají, že je měření zdarma. Část Náklady vysvětluje, co se účtuje samostatně; část Výsledky vysvětluje odpovědi s hodnotou null a pokrytí.