プロンプトキャッシュ
プロバイダーが繰り返し使われるモデル入力を再利用できる条件と、その結果を示すトークン数やコストの項目の読み方を解説します。
翻訳リクエストを繰り返すと、原文が変わっても同じ指示を使うことがよくあります。プロンプトキャッシュを利用すると、モデルプロバイダーは入力を毎回最初から処理する代わりに、共通する入力の先頭部分を再利用できます。その場合も、翻訳自体はリクエストごとに新たに生成されます。
Lingo.devは、リクエスト固有の内容より前に共通の指示を配置し、プロバイダーに合わせたキャッシュ用のヒントとルーティングを提供します。リクエストがキャッシュにヒットするかどうかは、プロバイダーが判断します。
リクエスト間で共通に保てる部分 #
設定が変わらない限り、システム指示、照合ルール、選択した文体が、バイト単位で同一の先頭部分を構成します。取得した用語集の情報とリクエストの内容は、この共通部分の後に続きます。ルールや文体のテキストを編集すると先頭部分が変わり、以前キャッシュした入力を再利用できなくなる場合があります。
対応するAnthropicとグーグルへの処理経路では、一時的なキャッシュの区切り位置を明示的に指定します。他のプロバイダーでは、自動的にキャッシュされるなど、動作が異なる場合があります。入力サイズの下限、有効期間、料金はプロバイダーごとに異なります。あるプロバイダーが対応していても、別のプロバイダーで同じように動作するとは限りません。
先頭部分が同じリクエストを繰り返す場合、キャッシュの効果が期待できます。一方、リクエストの頻度が低い場合、コンテキストが変わった場合、別のプロバイダー経路を使う場合や、プロバイダーのポリシーによっては、新たな処理が必要になることがあります。設定を一定に保つだけでは、キャッシュのヒット、料金の割引、待ち時間の短縮は保証されません。
入力を二重計上せずに使用量を読み取る #
アカウントのトークンレポートには、入力合計、出力、キャッシュ読み取り、キャッシュ書き込みのトークン数が含まれる場合があります。キャッシュの各数値は、入力処理の内訳を示すものです。それぞれが別のトークンを表すものとして、入力合計に加算しないでください。
たとえば、入力トークンの合計が1,000で、そのうちキャッシュ読み取りが800トークンでも、入力が1,800トークンという意味ではありません。新規処理分とキャッシュ分について、レポートからどの数値を算出できるかは、プロバイダーの定義によって決まります。使用量の記録がないことは、処理が行われなかった証拠にはなりません。
個別の翻訳を確認するには、その翻訳のモデルリクエストを開いてください。この画面には、試行全体で記録された入力・出力トークン数とプロバイダーのコストが表示されます。ひとつの試行に、複数のドキュメントの翻訳先が含まれる場合もあります。ジョブの応答には、進行状況とダウンロード先のアドレスが含まれます。複数のリクエストにわたるキャッシュの利用状況や支出を調べるには、アカウントレポートを使用してください。
コスト削減分とその他の処理を分けて考える #
キャッシュがヒットすると、プロバイダー側の入力処理を減らせる場合があります。ただし、出力の生成は引き続き行われ、ローカライズ料金も発生します。独立した測定、専門家によるレビュー、プラットフォームのプランにも、それぞれ費用がかかります。アカウント全体の支出は使用量で、個別の処理はコストの根拠で確認してください。
プロンプトキャッシュは、変更のない原文に対応する訳文を保持する翻訳の再利用とは異なります。コンテキスト取得は、新たな生成に使う指示を選ぶ仕組みです。これらの仕組みを区別すれば、リクエストのコストが下がった場合と、変更のない内容をそもそも翻訳する必要がなかった場合の両方を説明できます。