Prompt-Caching
Erfahren Sie, wann ein Anbieter wiederkehrende Modelleingaben wiederverwenden kann und wie Sie die zugehörigen Token- und Kostenfelder richtig lesen.
Wiederkehrende Übersetzungsanfragen nutzen oft dieselben Anweisungen, auch wenn sich der Ausgangstext ändert. Mit Prompt-Caching kann ein Modellanbieter einen wiederkehrenden Eingabepräfix wiederverwenden, statt die Eingabe jedes Mal von Anfang an zu verarbeiten. Für die Anfrage wird dennoch eine neue Übersetzung erzeugt.
Lingo.dev setzt gleichbleibende Anweisungen vor anfragespezifische Inhalte und stellt auf den Anbieter abgestimmte Cache-Hinweise und Weiterleitungswege bereit. Ob eine Anfrage einen Cache-Treffer erzielt, entscheidet der Anbieter.
Was zwischen Anfragen gleich bleiben kann #
Systemanweisungen, zutreffende Regeln und die ausgewählte Markenstimme tragen zu einem bytegenau gleichbleibenden Präfix bei, solange die Konfiguration unverändert bleibt. Abgerufene Glossarinhalte und die Inhalte der Anfrage folgen auf diesen gleichbleibenden Teil. Änderungen an Regeltexten oder am Text der Markenstimme verändern den Präfix und können verhindern, dass die zuvor zwischengespeicherte Eingabe wiederverwendet wird.
Unterstützte Anbindungen an Anthropic und Google verwenden explizite Cache-Breakpoints mit kurzer Gültigkeitsdauer. Andere Anbieter nutzen Caching möglicherweise automatisch oder verhalten sich anders. Mindestgröße der Eingabe, Gültigkeitsdauer und Preise hängen vom jeweiligen Anbieter ab. Die Unterstützung bei einem Anbieter lässt nicht auf dasselbe Verhalten bei einem anderen schließen.
Wiederholte Anfragen mit demselben Präfix können vom Caching profitieren. Seltene Anfragen, ein geänderter Kontext, ein anderer Weiterleitungsweg zum Anbieter oder dessen Richtlinien können eine erneute Verarbeitung erforderlich machen. Eine unveränderte Konfiguration allein garantiert weder einen Cache-Treffer noch einen Preisnachlass oder eine kürzere Latenz.
Nutzungsdaten lesen, ohne dieselbe Eingabe doppelt zu zählen #
Die Token-Berichte Ihres Kontos können die Gesamtzahl der Eingabe-Tokens, Ausgabe-Tokens sowie aus dem Cache gelesene und in den Cache geschriebene Tokens ausweisen. Die Cache-Zähler beschreiben Bestandteile der Eingabeverarbeitung. Addieren Sie diese nicht zur Gesamtzahl der Eingabe-Tokens, als stünde jeder Zähler für zusätzliche Tokens.
So bedeuten insgesamt 1.000 Eingabe-Tokens mit 800 aus dem Cache gelesenen Tokens nicht 1.800 Eingabe-Tokens. Die Definitionen des Anbieters bestimmen, welche Mengen an neu verarbeiteten und zwischengespeicherten Tokens sich aus dem Bericht ableiten lassen. Fehlende Nutzungsdaten sind kein Beleg dafür, dass keine Verarbeitung stattgefunden hat.
Öffnen Sie für eine einzelne Übersetzung die zugehörigen Modellanfragen. Die Ansicht zeigt die erfassten Eingabe- und Ausgabe-Tokens sowie die Anbieterkosten für den gesamten Versuch, der mehrere Zieldokumente umfassen kann. Die Auftragsantwort liefert URLs für den Fortschritt und den Download. Nutzen Sie die Kontoberichte, um Cache-Aktivitäten und Ausgaben über mehrere Anfragen hinweg nachzuvollziehen.
Einsparungen von anderen Leistungen abgrenzen #
Ein Cache-Treffer kann den Aufwand für die Eingabeverarbeitung beim Anbieter reduzieren. Die Ausgabe wird jedoch weiterhin generiert, und die Lokalisierungsgebühr fällt weiterhin an. Für unabhängige Messungen, eine professionelle Prüfung und den Plattformtarif fallen jeweils eigene Kosten an. Unter Nutzung finden Sie die Ausgaben Ihres Kontos, unter Kostennachweise die Kosten einzelner Leistungen.
Prompt-Caching unterscheidet sich auch von der Wiederverwendung von Übersetzungen, bei der die zu unveränderten Ausgangstexten gehörenden Zieltexte erhalten bleiben. Der Kontextabruf wählt Anweisungen für eine neue Generierung aus. Wer diese Mechanismen getrennt betrachtet, kann sowohl die geringeren Kosten einer Anfrage erklären als auch nachvollziehen, warum bei einem Durchlauf unveränderte Inhalte gar nicht erst übersetzt werden mussten.