Porovnání překladových modelů

Testujte překlady za stejných podmínek, uchovávejte nastavení testů a porovnávejte kvalitu, náklady i chybějící výsledky pro konkrétní případ použití.

Dva modely se mohou lišit v ohledech, které jsou pro jeden typ obsahu zásadní, ale u jiného se vůbec neprojeví. Užitečné porovnání začíná konkrétní otázkou: která konfigurace zachová tvrzení o produktu v jazycích, které produkt podporuje, při přijatelných nákladech a míře selhání?

Než vyberete příklady, ujasněte si, o čem rozhodujete #

Určete typ obsahu, cílové jazyky a požadavek. Otázka „Která konfigurace zachová ve francouzštině to, co slibujeme při dokončování nákupu?“ může přinést výsledek použitelný v praxi. Žebříček modelů bez vymezení obsahu a jazyků neukáže, pro jaké situace výsledek platí.

Vyberte běžné i náročné příklady, které odpovídají tomu, o čem rozhodujete. Podle povahy obsahu zahrňte krátké texty rozhraní, nejednoznačné termíny, souvislý text, zástupné symboly a tvrzení s významnými důsledky. Pro každý relevantní jazyk zařaďte dostatek příkladů, abyste jej mohli posoudit samostatně, nejen v rámci celkového průměru.

Uchovávejte revize zdrojových textů, cílové jazyky, kontext a případné referenční překlady. Referenční překlad je užitečný jen tehdy, když znáte jeho status a zamýšlený význam; existující překlad není automaticky zaručeně správný. Než některou z věrohodných interpretací označíte za chybu modelu, vyjasněte nejednoznačnost zdroje nebo ji výslovně označte.

Pro závěrečné testování si vyhraďte samostatnou sadu příkladů, kterou nepoužijete k ladění promptů ani instrukcí. U příslušného kritéria zaznamenejte vyřazené případy. Pokud problematický příklad odstraníte až po zjištění nepříznivého výsledku, měníte tím experiment; chybějící zdrojové podklady pro způsobilý případ zůstávají mezerou v důkazech.

Uchovejte podmínky porovnání #

Uložte přímo text konfigurace nebo její dohledatelnou revizi, ne jen název lokalizačního engine, pod kterým se konfigurace může měnit. U každého kandidáta uchovejte identifikátory modelu a poskytovatele, pořadí záložních modelů, glosář, pravidla, styl komunikace, kontext, nastavení formátu, pipeline, zásady kontroly a definice kritérií.

Pokud se hypotéza týká modelu, ostatní podmínky neměňte. Pokud se týká instrukcí, ponechte stejný model a změňte příslušný glosář nebo instrukci. Porovnání samotného modelu s plně nakonfigurovaným lokalizačním engine může zodpovědět provozní otázku, rozdíl ale zahrnuje nejen chování modelu, nýbrž i kontext.

Pokud je to možné, porovnání provádějte v odděleném prostředí, protože sdílené instrukce mohou ovlivnit i další volající. Zkontrolujte výchozí stav, navrhněte přesnou změnu konfigurace, získejte potřebné schválení a před spuštěním testu ověřte, co se skutečně uložilo. Téma Delegování na agenta pomáhá tyto hranice vymezit při práci s pomocí agenta.

Testujte za stejných podmínek a uchovávejte i neúspěšné pokusy #

Každé jednoznačně identifikované konfiguraci odešlete stejnou revizi zdrojového textu a stejný cílový jazyk. Uchovejte přesný výstup spolu s identifikátorem testu. Zaznamenejte skutečně použitý model i případné použití záložního modelu: úspěch záložního modelu nevypovídá o překladovém výkonu původně požadovaného modelu.

V záznamech ponechte opakované pokusy i chybějící výstupy. Pokud je bez upozornění nahradíte pozdějšími úspěchy, bude méně spolehlivá konfigurace působit, jako by poskytla všechny výsledky. Část testů za stejných podmínek zopakujte, abyste ověřili proměnlivost výsledků; pevně stanovený identifikátor nezaručuje deterministický výstup.

Agent může stejné vybrané texty zpracovat pomocí dvou schválených konfigurací a shromáždit výsledky. Určete, zda smí jen číst stávající nastavení, odesílat požadavky na překlad, nebo také měnit sdílenou konfiguraci. Zobrazení dvou výstupů v jedné konverzaci samo o sobě nevytváří trvalou historii experimentu ani statisticky platný A/B test.

Posuzujte význam podle stejných kritérií #

Je-li to možné, stanovte kritéria dříve, než odhalíte, který model vytvořil který výstup. U příslibu doručení musí zůstat zachován termín, upřesnění, že jde o pracovní dny, i samotný závazek. Plynulý překlad, který zachová číslo, ale oslabí dorazí na může dorazit, mění původní příslib.

Zkalibrujte hodnotitele pomocí samostatně posouzených příkladů, včetně přijatelných parafrází, známých chyb a případů s nedostatkem důkazů. Identitu hodnotitele evidujte odděleně od identity modelu, který výstup vytvořil. To, že model upřednostňuje vlastní výstup, není nezávislé ověření.

Požádejte kvalifikované hodnotitele, aby prozkoumali neshody s významnými důsledky, pokud možno bez informace o použitém modelu. Než se zaměříte na průměry, porovnejte konkrétní pasáže a požadavky. Téma Ověření zjištění o kvalitě pomáhá rozhodnout, zda jde skutečně o chyby, zatímco návrh měření vymezuje způsobilost, falešné poplachy, přehlédnuté chyby a meze toho, na co lze odpovědět.

Uvádějte kvalitu, pokrytí a náklady společně #

Pro každou vybranou kombinaci revize zdroje, jazyka, kandidáta a testu uchovávejte řádek se skutečným výstupem, vyhodnocením a známými náklady na provedení. Uvádějte případy, na které se kritéria vztahují, dokončená vyhodnocení, jednoznačné odpovědi i práci bez dokončené odpovědi. Případy, u nichž není jasné, zda se na ně kritéria vztahují, ponechte viditelné a nevyřazujte je bez upozornění.

Míru úspěšnosti počítejte ze způsobilých jednoznačných odpovědí a jejich pokrytí uvádějte vůči vymezenému souboru způsobilých případů. Dokončená vyhodnocení s nejednoznačným výsledkem se počítají jako dokončená, neposkytují však podložený závěr o kvalitě. Ze samotné historie úspěšných výsledků nelze zpětně dohledat všechny vybrané položky, které se k vyhodnocení vůbec nedostaly.

Než výsledky sloučíte, rozdělte je podle jazyka a skupiny obsahu. Vysoký průměr může skrývat závažné selhání v malé, ale důležité skupině. Uveďte, jak jste vzorek vybrali; sada sestavená podle známých selhání nemůže doložit obecnou míru chybovosti v běžném provozu.

U nákladů i latence vymezte stejný rozsah započítávaných kroků. Zahrňte zaznamenané opakované pokusy, použití záložních modelů i další fáze. Chybějící údaje o nákladech znamenají neznámé náklady a chybějící výstup znamená nedokončenou práci. Doba trvání požadavku se liší od celkové doby workflow včetně čekání a doručení. Editační vzdálenost nedokládá úsporu lidského času. Téma Náklady vysvětluje, co do těchto záznamů zahrnout.

Zdokumentujte rozhodnutí tak, aby šlo znovu posoudit #

Zpráva by měla propojit závěr s jasně vymezenou platností s důkazy, o které se opírá: který kandidát splnil které požadavky, u jakého obsahu a v jakých jazycích, s jakým pokrytím a provozními náklady. Pokud výsledky neukazují rozdíl mezi kandidáty, ponechte stávající konfiguraci nebo shromážděte chybějící důkazy, místo abyste vítěze určili za každou cenu.

Uchovávejte vstupy, výstupy, revize konfigurací, kritéria, identifikátory testů, prověřená zjištění a vyřazené případy. Funkce historického vyhodnocení v nástroji Radar nahrazuje odpovědi v rámci svého intervalu, takže nemůže uchovat obě verze porovnání.

Před schválenou změnou v produkci uchovejte výchozí stav a plán návratu k němu. Znovu zkontrolujte příklady vyhrazené pro závěrečné testování a ověřte, že aplikace dostává zamýšlený výstup. Když se změní obsah, jazyky nebo požadavky, závěr znovu posuďte; výsledek popisuje testované podmínky, není univerzálním doporučením modelu.