파이프라인에서 번역 측정하기
수정 버전과 평가 결과, 미완료 작업을 구분하면서 기존 번역 워크플로에 반복 가능한 측정을 추가하세요.
기존 번역 워크플로에는 콘텐츠를 가져오는 곳과 승인된 텍스트를 저장하는 곳이 이미 정해져 있습니다. 원문과 번역문의 버전을 보존할 수 있는 지점에 측정을 추가하고, 각 평가 결과를 해당 기록에 연결하세요. 번역을 생성하거나 관리하는 시스템을 바꾸지 않고도 팀에서 품질을 살펴볼 수 있습니다.
이 가이드에서는 반복적으로 수행하는 측정 하나를 수집부터 복구, 보고까지 살펴봅니다. 제품 관련 주장에 담긴 조건을 유지하는지처럼 명확한 기준부터 정하세요. 번역 품질 측정 설계하기에서는 기준을 작성하고 보정하는 방법을 설명합니다.
실제 수집 경로에 점검 연결하기 #
자동화를 설계하기 전에 먼저 실행 경로를 선택하세요.
| 기존 작업 | 측정 경로 |
|---|---|
| Crowdin 제안 및 번역 | Crowdin 연결을 설정하고 이벤트 측정을 활성화한 뒤, Radar에서 수집된 활동과 결과를 확인하세요. |
| 로컬 번역 파일 | 채점기와 모델 설정을 지정해 lingo score를 실행하고 로컬 결과 파일을 보관하세요. |
| Lingo.dev 번역 요청 | 해당 요청의 완료된 현지화 결과를 측정하고 Radar에서 평가 결과를 확인하세요. |
Radar에서 수집하는 이벤트의 소스에 따라 수신되는 데이터가 달라집니다. 임의의 번역이나 점수를 업로드하는 범용 엔드포인트는 제공되지 않습니다. 지원되는 수집 경로가 없는 자체 구축 파이프라인이라면, 아래의 수정 버전 기록을 보존하고 전송 경로를 마련한 뒤 제출을 자동화하세요. 사용자 지정 기준을 만드는 것만으로 전송 경로가 마련되지는 않습니다.
번역 수집하기에서는 이러한 제약을 설명합니다. 승인된 텍스트를 어디에서 관리하든 이 측정 방식은 유용합니다. 다만 로컬 채점과 이벤트 이력은 서로 다른 기록을 생성하므로 각각 대조해야 합니다.
원문과 번역문의 버전을 함께 보관하기 #
편집 후에도 유지되는 콘텐츠 식별자를 선택하고, 평가에 사용한 원문과 번역문의 정확한 수정 버전을 기록하세요. 메시지 식별자만으로는 어제의 텍스트에 대한 평가 결과와 오늘 수정한 텍스트에 대한 평가 결과를 구분할 수 없습니다.
고객이 직접 관리하는 기록에는 예를 들어 다음 내용을 담을 수 있습니다.
{
"contentId": "checkout.delivery",
"sourceRevision": "source-17",
"targetRevision": "fr-12",
"targetLocale": "fr",
"criterionVersion": "delivery-promise-3",
"sourceText": "Your order will arrive within five business days.",
"targetTextLocation": "accepted catalog at revision fr-12"
}이는 추적용 예시이며 Lingo.dev 요청 스키마가 아닙니다. 실제 번역문이나 평가자가 접근할 수 있는 변경 불가능한 참조를 저장하세요. ‘최신’ 버전으로 연결되는 링크는 평가 도중에도 바뀔 수 있습니다. 발생 시각과 승인된 텍스트의 위치를 기록에 함께 남기고, 생성 주체를 알고 있다면 그 정보도 보관하세요.
평가 질문에 맞는 근거를 추가하세요. 의미 보존 여부를 판단하려면 원문과 번역문 쌍이, 편집 활동을 평가하려면 실제 초안이 필요합니다. 용어를 평가할 때는 정의와 사용 맥락이 필요할 수 있습니다. 맞춤법 검사에는 번역문만으로 충분할 수 있습니다. 평가 대상 메시지에 필요한 근거가 없다면 평가의 공백으로 남겨야 합니다. 이를 통과한 메시지나 관련 없는 메시지로 집계해서는 안 됩니다.
수집부터 평가 결과 확인까지 한 주기 완료하기 #
Crowdin을 사용한다면 연결 안내에 따라 연결한 뒤 이벤트 측정과 트리거, 대상 로캘을 설정하세요. Lingo.dev 번역의 경우 측정에 사용할 엔진, 원문 언어와 대상 언어, 표본을 확인하세요. 테스트 활동이나 요청을 생성하기 전에 설정을 저장하세요.
생성된 이벤트나 요청을 찾아 그 안의 텍스트를 보존해 둔 기록과 비교하세요. 그런 다음 평가 결과가 기준에 부합하는지 살펴보세요. 이벤트 수신, 평가 대상 선정, 평가 결과 생성 완료는 서로 다른 단계입니다. 선정 설정을 바꿔도 이전 이벤트가 소급 평가되지는 않습니다. 이전 이벤트를 평가하려면 과거 이벤트 평가를 사용하세요.
워크플로에 간단한 대조 기록을 남기세요. 선택한 수정 버전, 수신된 이벤트나 요청의 식별자, 측정 식별자, 완료된 평가 결과, 해결되지 않은 공백을 기록하면 됩니다. 실제로 제공되는 필드는 이벤트와 결과에서 설명합니다. 로컬 채점의 경우 원본 파일과 설정, 출력 파일을 함께 보존해야 합니다.
반복 전달과 수정 구분하기 #
재시도는 같은 수정 버전을 다시 전달하는 작업입니다. 반면 수정은 콘텐츠 식별자가 같더라도 새로운 번역문 수정 버전을 만듭니다. 소스 자체의 중복 제거 방식을 적용하기 전에 이 차이를 기록에 반영하세요.
예를 들어 마감일을 수정했다면 새 번역문 수정 버전을 부여하고 해당 원문과 다시 비교해야 합니다. 무엇이 개선되었는지 보여줘야 한다면 이전 텍스트와 평가 결과도 보관하세요. 원문에서 약속한 내용도 바뀌었다면 원문의 새 수정 버전도 보존하세요. 새 번역문을 이전 원문과 비교하면 실제로는 없는 결함이 있는 것처럼 보일 수 있습니다.
모든 제공자의 데이터 전달에 공통으로 적용되는 무제한 멱등성 보장은 없습니다. Crowdin에서 검토 작업을 반복하면 서로 다른 이벤트 식별자가 생길 수 있으며, 다른 활동은 각자의 발생 정보를 사용합니다. 결과가 불확실한 작업을 반복하기 전에 확보된 수신 기록과 결과를 대조하세요.
마지막으로 확인된 단계부터 복구하기 #
| 확인할 수 있는 상태 | 다음 확인 사항 |
|---|---|
| 소스에 수정 버전이 있지만 이벤트를 찾을 수 없음 | 연결 상태, 지원되는 활동 유형, 시간 범위, 수집 근거를 확인하세요. |
| 이벤트는 있지만 평가 결과를 찾을 수 없음 | 활성화된 측정 조건, 로캘, 필수 데이터, 비동기 처리를 확인하세요. |
| 평가기가 판정 불가 결과로 평가를 완료함 | 설명을 읽고 누락된 근거를 제공하거나 모호한 부분을 해소하세요. |
| 해당 기준이 실제로 적용되지 않음 | 그 판단을 기록으로 남기고, 이 기준의 품질 지표를 계산할 때 해당 항목을 분모에서 제외하세요. |
| 실행 실패 | 실패 원인을 파악한 뒤 지원되는 경로로 해당 작업을 재시도하세요. |
결과가 없다는 사실만으로는 대기 중인지, 실패했는지, 입력이 누락되었는지, 작업이 요청되지 않았는지 구분할 수 없습니다. 근거로 확인되기 전까지는 불확실한 상태로 남겨 두세요. 생성을 반복하는 것은 누락된 비동기 평가를 복구하는 신뢰할 만한 방법이 아닙니다.
과거 이벤트 평가로 복구한다면 아직 측정하지 않은 이벤트만 옵션을 켜 두세요. 기존 평가 결과를 건드리지 않고 공백을 채울 수 있습니다. 해당 기간을 다시 측정하면 선택한 구간 전체에서 해당 측정의 이전 평가 결과가 대체되므로 먼저 보존하세요. 시작 응답을 완료로 간주하지 말고, 예상한 이벤트와 반환된 평가 결과를 확인하세요.
평가 결과와 결과가 없는 작업 함께 보고하기 #
평가 대상 수정 버전 50개를 한 묶음으로 살펴보겠습니다. 45개는 평가가 완료되었고, 그중 40개에서 확정 판정이 나왔습니다. 이 가운데 36개는 요구 사항을 보존했고 4개는 충족하지 못했습니다.
평가 완료 비율은 45/50, 즉 90%입니다. 확정 판정 비율은 40/50, 즉 80%입니다. 확정 판정을 받은 항목의 통과율은 36/40, 즉 90%입니다. 평가가 완료되었지만 판정할 수 없는 결과 5개와 평가가 완료되지 않은 수정 버전 5개는 별도로 구분해 두세요.
미완료 작업의 분포가 고르지 않다면 언어나 콘텐츠 유형별로도 같은 집계를 보여주세요. 적용 여부가 불분명한 항목은 확인될 때까지 계속 표시하세요. 평가 결과가 있는 기록의 통과율이 높더라도 결과가 없는 기록의 품질까지 설명할 수는 없습니다.
기준을 결과와 함께 보관하기 #
기준의 프롬프트, 근거 요건, 평가 결과의 정의, 평가자 설정을 콘텐츠 수정 버전과 함께 보존하세요. 정의를 변경했다면 알려진 예시로 테스트한 뒤 새 기준의 평가 결과를 기존 결과와 합쳐 추세를 살펴보세요. 번역이 바뀌지 않아도 기준이 달라지면 점수가 바뀔 수 있습니다.
발견한 문제가 확인되면 해당 텍스트를 관리하는 시스템에서 수정하고 새 수정 버전을 평가하세요. 품질 문제 검증하기는 진단을 확실히 하는 데 도움이 됩니다. 측정은 판단을 뒷받침하는 근거를 제공합니다. 수정 사항 반영과 게시는 기존 워크플로에서 별도로 명시해 수행하는 작업으로 유지됩니다.