Ukládání promptů do cache
Zjistěte, kdy může poskytovatel znovu použít opakující se vstup modelu a jak se vyznat ve výsledných údajích o tokenech a nákladech.
Opakované požadavky na překlad často používají stejné instrukce, i když se zdrojový text mění. Ukládání promptů do cache umožňuje poskytovateli modelu znovu použít opakující se úvodní část vstupu, místo aby pokaždé zpracovával celý vstup od začátku. Pro každý požadavek přitom stále vzniká nový překlad.
Lingo.dev řadí neměnné instrukce před obsah specifický pro daný požadavek a podle poskytovatele přidává nápovědy pro cache a volí vhodné směrování. O tom, zda se pro požadavek podaří využít cache, rozhoduje poskytovatel.
Co může mezi požadavky zůstat stejné #
Systémové instrukce, pravidla odpovídající požadavku a zvolený tón komunikace společně tvoří prefix, který zůstává beze změny až na úroveň bajtů, dokud se nezmění konfigurace. Za touto neměnnou částí následují načtené podklady z glosáře a obsah požadavku. Úprava textu pravidla nebo tónu komunikace změní prefix a může znemožnit opětovné použití vstupu uloženého dříve v cache.
Podporované varianty zpracování u poskytovatelů Anthropic a Google používají explicitně určené hraniční body pro dočasnou cache. Jiní poskytovatelé mohou data ukládat do cache automaticky nebo postupovat jinak. Minimální velikost vstupu, doba platnosti a účtování se liší podle poskytovatele; podpora u jednoho neznamená stejné chování u jiného.
Při opakovaných požadavcích se stejným prefixem může ukládání do cache přinést výhody. Nízká frekvence požadavků, změna kontextu, jiné směrování k poskytovateli nebo jeho zásady však mohou vyžadovat nové zpracování. Samotná neměnná konfigurace nezaručuje využití cache, slevu ani kratší dobu odezvy.
Čtěte údaje o spotřebě bez dvojího započítání stejného vstupu #
Přehledy tokenů pro účet mohou uvádět celkový počet vstupních tokenů, výstupní tokeny i tokeny načtené z cache a zapsané do cache. Čítače cache zachycují dílčí části zpracování vstupu; nepřičítejte je k celkovému počtu vstupních tokenů, jako by každý čítač představoval další samostatné tokeny.
Například celkem 1 000 vstupních tokenů a 800 tokenů načtených z cache neznamená 1 800 vstupních tokenů. To, jaké počty nově zpracovaných tokenů a tokenů z cache lze z přehledu odvodit, závisí na definicích poskytovatele. Chybějící údaje o spotřebě nejsou důkazem, že žádné zpracování neproběhlo.
U konkrétního překladu otevřete jeho požadavky na model. Zobrazí se zaznamenané počty vstupních a výstupních tokenů a náklady u poskytovatele za celý pokus, který může zahrnovat několik cílových verzí dokumentu. Odpověď úlohy obsahuje údaje o průběhu a adresy URL pro stažení; aktivitu cache a výdaje napříč požadavky můžete prozkoumat v přehledech účtu.
Oddělte úspory od ostatního zpracování #
Využití cache může omezit zpracování vstupu u poskytovatele, výstup se však stále generuje a poplatek za lokalizaci se nadále účtuje. Nezávislá měření, profesionální kontrola a plán platformy mají vlastní náklady. Výdaje účtu sledujte v části Spotřeba, náklady na jednotlivé úkony pak v části Podklady k nákladům.
Ukládání promptů do cache se také liší od opětovného použití překladů, které uchovává cílový text přiřazený k nezměněnému zdrojovému textu. Načítání kontextu vybírá instrukce pro nové generování. Když tyto mechanismy rozlišujete, můžete vysvětlit jak nižší náklady na požadavek, tak spuštění, při němž nebylo vůbec nutné překládat nezměněný obsah.