프롬프트 캐싱

제공업체가 반복되는 모델 입력을 재사용하는 조건과 그에 따른 토큰 및 비용 필드를 읽는 방법을 알아보세요.

번역을 반복해서 요청하다 보면 원문이 바뀌어도 같은 지침을 사용하는 경우가 많습니다. 프롬프트 캐싱을 통해 모델 제공업체는 매번 입력을 처음부터 처리하는 대신 반복되는 입력의 앞부분을 재사용할 수 있습니다. 이때도 요청에 대한 번역은 새로 생성됩니다.

Lingo.dev는 요청마다 달라지는 자료 앞에 고정된 지침을 배치하고, 제공업체에 맞는 캐시 힌트와 라우팅을 제공합니다. 실제 캐시 적중 여부는 제공업체가 결정합니다.

요청이 바뀌어도 동일하게 유지될 수 있는 부분 #

설정이 바뀌지 않으면 시스템 지침, 일치 규칙, 선택한 문체가 바이트 단위까지 동일한 입력 앞부분을 구성합니다. 검색으로 가져온 용어집 자료와 요청 내용은 이 고정된 부분 뒤에 배치됩니다. 규칙이나 문체의 텍스트를 수정하면 입력 앞부분이 달라져 이전에 캐시된 입력을 재사용하지 못할 수 있습니다.

지원되는 Anthropic 및 구글 경로에서는 임시 캐시를 저장할 지점을 명시적으로 지정합니다. 다른 제공업체는 자동으로 캐시하거나 다른 방식으로 동작할 수 있습니다. 최소 입력 크기, 유효 기간, 요금은 제공업체마다 다릅니다. 한 제공업체가 지원한다고 해서 다른 제공업체도 같은 방식으로 동작하는 것은 아닙니다.

입력 앞부분이 같은 요청이 반복되면 캐싱의 이점을 누릴 수 있습니다. 요청 빈도가 낮거나 맥락 또는 제공업체 경로가 바뀌면 새로 처리해야 할 수 있으며, 제공업체 정책에 따라 새 처리가 필요할 수도 있습니다. 설정을 동일하게 유지하는 것만으로 캐시 적중이나 할인, 응답 시간 단축이 보장되지는 않습니다.

같은 입력을 중복 계산하지 않고 사용량 읽기 #

계정 토큰 보고서에는 총 입력 토큰, 출력 토큰, 캐시 읽기 토큰, 캐시 쓰기 토큰이 포함될 수 있습니다. 캐시 집계 수치는 입력 처리 작업의 일부를 나타냅니다. 각 수치가 별도의 토큰을 뜻하는 것처럼 총 입력 토큰에 더하지 마세요.

예를 들어 총 입력 토큰이 1,000개이고 캐시 읽기 토큰이 800개라고 해서 입력 토큰이 1,800개라는 뜻은 아닙니다. 보고서에서 새로 처리된 양과 캐시된 양을 어디까지 산출할 수 있는지는 제공업체의 정의에 따라 달라집니다. 사용량이 누락되었다고 해서 처리가 이루어지지 않았다는 뜻은 아닙니다.

개별 번역을 확인하려면 해당 번역의 모델 요청을 여세요. 이 화면에는 전체 시도에 대해 기록된 입력 및 출력 토큰과 제공업체 비용이 표시됩니다. 한 번의 시도에는 여러 문서 번역 대상이 포함될 수 있습니다. 작업 응답에서는 진행 상황과 다운로드 주소를 제공합니다. 여러 요청에 걸친 캐시 활동과 지출을 살펴보려면 계정 보고서를 사용하세요.

절감된 비용과 다른 작업의 비용 구분하기 #

캐시가 적중하면 제공업체의 입력 처리량은 줄어들 수 있지만, 출력은 여전히 생성되며 현지화 요금도 발생합니다. 별도로 수행하는 측정, 전문가 검토, 플랫폼 요금제에도 각각 비용이 듭니다. 계정 지출은 사용량에서, 개별 작업의 비용은 비용 근거에서 확인하세요.

프롬프트 캐싱은 변경되지 않은 원문에 대응하는 번역문을 보존하는 번역 재사용과도 다릅니다. 맥락 검색은 새 번역을 생성할 때 사용할 지침을 선택합니다. 이 방식들을 구분하면 요청 비용이 낮아진 경우와 변경되지 않은 콘텐츠를 아예 번역할 필요가 없었던 실행을 각각 설명할 수 있습니다.