기본 제공 측정
기본 제공 품질 검사와 수정 검사의 입력값, 알고리즘, 응답 척도, 근거가 없을 때의 처리 방식을 알아보세요.
기본 제공 측정은 번역이나 수정에 관한 구체적인 질문에 답합니다. 수정률은 두 텍스트가 서로 다른지, 용어집 준수도는 관련 용어가 적용되었는지 확인합니다. 각 값의 고유한 의미를 유지해야 여러 값을 함께 활용할 수 있습니다. 이 값들이 하나의 범용 품질 척도를 이루는 것은 아닙니다.
측정에서 이 검사들을 켜세요. 용어집 준수도와 규칙 준수도는 Lingo.dev 번역 검토에 설명된 대로 각 엔진의 검토자 탭에서도 켤 수 있습니다. 이 레퍼런스에서는 각 검사가 무엇을 계산하고, 어떤 근거가 그 응답을 뒷받침하는지 설명합니다.
MQM #
MQM은 모델에 점수가 아닌 번역 오류 목록만 요청합니다. 각 오류에 대해 잘못된 부분의 정확한 문구, MQM 핵심 차원 일곱 가지 중 하나(정확성, 용어, 언어 관습, 문체, 로캘 관습, 독자 적합성, 디자인 및 마크업), 심각도(중립, 경미, 중대, 치명적), 문제를 설명하는 한 줄을 반환합니다. 이벤트에 로컬라이제이션 엔진이 명시되어 있으면 모델은 요청의 맥락과 함께 해당 엔진의 현재 지침도 확인합니다. 여기에는 해당 언어의 브랜드 보이스, 규칙, 원문에 쓰인 용어집 용어가 포함됩니다.
MQM은 번역 변경도 평가합니다. 누가 작성했든 대상 텍스트가 생성되거나 업데이트될 때마다 평가합니다. Zendesk 및 GitHub에서는 아래 수정률 설명에서 정의하는 Lingo.dev 작성 버전을 번역 당시 사용한 브랜드 보이스, 규칙, 용어집 용어에 따라 평가하며, 응답에는 해당 버전을 생성한 작업이 명시됩니다. 사람이 수정한 버전, 되돌린 버전, 다른 도구의 번역, Crowdin에서 변경된 버전 등 그 밖의 버전은 엔진 지침 없이 평가합니다. 응답의 isLingoRecord 필드로 두 경우를 구분합니다. 이러한 다른 버전에는 false가, 완료된 로컬라이제이션을 비롯한 나머지 모든 응답에는 true가 표시되므로 탐색에서 Lingo.dev 번역과 나머지 번역을 비교할 수 있습니다. 번역 변경에는 엔진이 명시되지 않으므로 엔진으로 범위를 제한한 MQM 조건은 해당 변경에 대해 해당 없음을 반환합니다.
점수는 이 오류 목록을 바탕으로 산술적으로 계산합니다. 오류로 지적된 문구가 번역에 없으면 해당 오류는 제외합니다. 나머지 오류에는 중립 0, 경미 1, 중대 5, 치명적 25의 가중치를 부여하고, 합계를 원문 100단어 기준으로 정규화합니다.
max(0, 100 − 100 × summed error weights / source word count)100은 오류가 없다는 뜻입니다. 같은 공식으로 차원별 점수도 계산합니다. 원문 단어 수는 키가 아닌 텍스트 값에서 셉니다. 중국어, 일본어, 한국어, 태국어처럼 공백 없이 쓰는 문자 체계에서는 문자 하나를 한 단어로 셉니다. 원문에 단어가 없으면 모델에 요청하지 않고 해당 없음으로 응답합니다.
MQM은 완료된 로컬라이제이션 이벤트와 대상 텍스트 생성 및 업데이트 시 실행됩니다. 용어집 준수도와 규칙 준수도는 완료된 로컬라이제이션 이벤트에 대해 실행되도록 설정되어 있습니다. 수정률, 수정 거리, 수정 패턴은 대상 텍스트 생성 및 업데이트 시 실행됩니다. 기본 제공 측정에 허용되는 유형은 플랫폼에서 정의하므로, 활성화할 때 해당 측정의 현재 설정을 확인하세요.
수정률 #
수정률은 변경된 대상 텍스트를 해당 문자열의 이전 버전과 비교합니다. 이전 버전으로는 같은 문자열과 로캘에 대해 앞서 기록된 가장 최근의 대상 텍스트 생성 또는 업데이트를 사용합니다. 기록이 없으면 이벤트에 담긴 변경 전 텍스트를 사용합니다. 비교하기 전에 앞뒤 공백을 제거하고, 내부의 연속된 공백은 공백 하나로 바꿉니다. 이전 버전이 없는 문자열은 변경되지 않은 것으로 처리합니다.
Lingo.dev가 직접 번역을 작성하는 경우, 세 가지 수정 측정은 Lingo.dev가 작성한 각 버전과 사람이 그 버전에 가한 변경에 대해 응답합니다. Lingo.dev는 전달하는 번역을 모두 기록합니다. 동기화를 통해 Zendesk에 쓰거나 GitHub에 커밋하는 내용, API, CLI, CI가 반환하는 내용이 모두 포함됩니다. 커밋이나 Zendesk에 기록된 시각으로 확인할 수 있는 Lingo.dev의 직접 작성 버전은 Lingo.dev 버전으로 간주합니다. CLI로 생성한 버전처럼, 해당 버전이 생기기 전에 Lingo.dev가 그 문자열에 대해 가장 최근에 전달한 번역을 담고 있는 버전도 마찬가지입니다. 각 번역은 그 번역을 담은 첫 번째 버전에서 한 번만 집계합니다. 사람이 변경한 뒤 같은 번역으로 되돌린 버전은 그 사람이 되돌린 버전으로 처리합니다.
이 경우 Lingo.dev가 작성한 버전은 항상 변경되지 않은 것으로 응답합니다. 수정률은 false, 수정 거리는 0이며, 수정 패턴은 해당 없음으로 응답합니다. Lingo.dev가 작성한 버전 바로 다음에 사람이 만든 버전은 직전 버전과 비교하여 수정률 true, 변경 거리, 수정 패턴을 반환합니다. 공백을 제외하고 사람이 Lingo.dev의 텍스트를 그대로 유지했다면 해당 변경은 해당 없음으로 응답합니다(“사람이 Lingo.dev의 텍스트를 그대로 유지했습니다”). Lingo.dev가 작성하지 않은 버전을 변경했거나 이전 버전 기록이 없는 경우에도 마찬가지입니다(“이 버전의 직전 버전은 Lingo.dev가 작성하지 않았습니다”). 여기에는 사람의 추가 수정과 Lingo.dev 텍스트로 되돌린 변경도 포함됩니다. 따라서 각 false는 Lingo.dev가 작성한 번역 하나를, 각 true는 사람이 변경한 번역 하나를 나타냅니다. 수정률은 false 응답 수 대비 true 응답 수이므로, Lingo.dev가 작성한 번역 100개 중 5개가 변경되면 5%입니다. Lingo.dev가 작성한 번역당 평균 수정 거리도 변경 거리의 합을 Lingo.dev 버전 수로 나누어 계산합니다.
Crowdin 같은 다른 소스에서는 Lingo.dev가 번역을 작성하지 않으므로, 각 버전을 누가 작성했는지와 관계없이 변경 내용을 이전 버전과 비교합니다.
| 응답 | 의미 |
|---|---|
true | 정규화한 텍스트가 서로 다릅니다. Zendesk 및 GitHub에서는 사람이 Lingo.dev 버전을 변경했다는 뜻입니다. |
false | 정규화한 텍스트가 일치하거나, Zendesk 및 GitHub 이외의 소스에서 문자열에 이전 버전이 없습니다. Zendesk 및 GitHub에서는 Lingo.dev가 이 버전을 작성했다는 뜻입니다. |
| 해당 없음 | Zendesk 및 GitHub에서 사람이 Lingo.dev의 텍스트를 그대로 유지했거나, 이 버전의 직전 버전을 Lingo.dev가 작성하지 않았습니다. |
예를 들어 Save changes와 Save changes를 비교하면 변경되지 않은 것으로 판단합니다. Save changes와 Apply changes를 비교하면 수정된 것으로 판단합니다. 어느 결과도 어떤 표현이 더 나은지 판단하지는 않습니다.
초안은 있지만 대상 필드가 없으면 시스템은 초안을 빈 대상 텍스트와 비교합니다. 이를 사람이 수정을 완료한 것으로 간주하기 전에 이벤트의 근거를 확인하세요. 컬렉션 전체를 보고할 때는 사용 가능한 초안과 대상 텍스트의 비교 건수 대비 수정된 비교 건수를 제시하고, 누락된 비교도 확인할 수 있도록 하세요.
수정 거리 #
수정 거리는 정규화하지 않은 원래 텍스트를 대상으로 레벤슈타인 거리를 계산합니다. 이는 한 텍스트를 다른 텍스트로 바꾸는 데 필요한 삽입, 삭제, 대체 횟수입니다. 이 거리를 두 텍스트 중 더 긴 텍스트의 길이로 나눈 뒤 100을 곱합니다.
0은 텍스트가 동일하다는 뜻이며, 값이 클수록 텍스트가 더 많이 바뀌었다는 뜻입니다. 두 문자열이 모두 비어 있거나 문자열에 이전 버전이 없으면 0을 반환합니다. 대상 텍스트가 없으면 수정률과 마찬가지로 빈 텍스트로 처리합니다.
시스템은 단어나 사용자가 인식하는 문자가 아닌 UTF-16 코드 단위를 비교합니다. 두 텍스트에서 시작 부분과 끝부분이 같으면 해당 부분은 건너뜁니다. 차이가 나는 부분만으로도 문자 쌍이 약 32억 개를 초과하면, 예를 들어 서로 관련 없는 텍스트가 각각 57,000자인 경우에는 “텍스트가 너무 길어 비교할 수 없습니다”라는 사유와 함께 해당 없음으로 응답합니다. 수정률에서 두 텍스트를 변경되지 않은 것으로 판단하더라도 공백은 수정 거리에 반영될 수 있습니다. 또한 한 단위의 변경도 긴 문자열보다 짧은 문자열에서 더 높은 비율을 차지합니다.
두 수정 측정을 함께 활용해 자주 일어나는 작은 변경과 가끔 일어나는 대규모 재작성을 구분하세요. Zendesk 및 GitHub 이외의 소스에서는 먼저 비교 대상을 확인하세요. 이전 버전이 전달된 번역이 아니라 앞선 수정본일 수 있습니다. 어느 측정도 수정된 오류 수, 소요 시간, 품질 향상 정도를 입증하지는 않습니다.
수정 거리를 집계할 때는 계산 방식을 명시하세요. 비교 쌍별 백분율의 평균을 내면 각 쌍에 같은 가중치가 부여됩니다. 정규화 전 거리의 총합을 전체 비교 길이로 나누면 긴 텍스트에 더 큰 가중치가 부여됩니다. 개별 이벤트의 응답이 이 두 공식 중 하나를 정해 주지는 않습니다.
용어집 준수도 #
용어집 준수도는 평가 실행 시점에 로컬라이제이션 엔진에 연결된 용어를 기준으로 원문과 대상 텍스트를 비교합니다. 원문, 대상 텍스트, 로컬라이제이션 엔진 식별 정보가 필요합니다. 연결된 용어 중 대상 로캘이 일치하고 원문 용어가 원문에 포함된 항목을 선택합니다. 이때 대소문자를 구분하지 않는 부분 문자열 검사를 사용합니다.
평가 모델은 제공된 용어를 하나씩 평가합니다. 지침은 사용자 지정 번역의 자연스러운 문법적 활용을 허용하고, 번역하지 않는 용어는 그대로 유지하도록 요구합니다. 맥락 힌트가 명백히 적용되지 않을 때는 일반적인 번역을 허용하며, 같은 용어에 상충하는 항목이 여러 개 있으면 그중 하나를 인정합니다. 따라서 점수가 높다고 해서 서로 상충하는 용어집 정의를 사용하는 정책이 바람직하다는 뜻은 아닙니다.
점수는 다음과 같이 계산합니다.
returned findings marked applied / all returned term findings × 100여기서는 용어가 등장하는 모든 사례나 조직 용어집의 모든 항목이 아니라, 반환된 판정 결과를 집계합니다. 누락된 용어는 설명에 반영됩니다. 평가 모델이 판정 결과를 하나도 반환하지 않으면 응답이 완료되어도 점수를 확정할 수 없습니다.
필수 필드가 누락되었거나, 일치하는 로컬라이제이션 엔진 또는 연결된 용어가 없거나, 원문에서 선택된 용어가 없으면 평가 모델을 실행하기 전에 해당 없음을 반환할 수 있습니다. 사유를 확인하세요. 실제로 관련 없는 용어는 평가할 필요가 없지만, 용어 관련 근거가 있어야 하는 메시지라면 여전히 근거가 부족한 상태입니다.
이 측정은 실시간 이벤트와 과거 데이터 보충 처리 모두에서 현재 지침을 참조합니다. 번역 생성 당시 사용한 용어집을 재구성하지는 않습니다. 요청에는 원문 배치와 모델의 시도 내역이 표시되지만, 프롬프트나 용어집의 전체 스냅샷은 표시되지 않습니다. 과거 이벤트 평가를 비교하기 전에 제출한 맥락과 관련 용어 정의를 저장하세요. 승인된 용어 변경은 용어집에서 처리하세요.
규칙 준수도 #
규칙 준수도는 원문, 대상 텍스트, 로컬라이제이션 엔진 식별 정보와 현재 연결된 규칙 중 대상 로캘에 적용되는 규칙을 사용합니다. 평가 모델은 제공된 규칙마다 판정 결과를 하나씩 반환합니다. 결과는 준수, 미준수, 또는 규칙이 적용되지 않을 때의 널값입니다.
점수는 다음과 같이 계산합니다.
returned findings marked followed / returned non-null rule findings × 100널값인 규칙 판정 결과는 계산에서 제외합니다. 반환된 판정 결과가 모두 널값이면 평가 모델은 전체 점수 없이 실행을 완료할 수 있습니다. 반면 원문, 대상 텍스트, 로컬라이제이션 엔진 근거가 누락되면 평가 모델이 실행되지 않을 수 있습니다. 두 경우 모두 해당 없음으로 표시될 수 있으므로 사유와 확인 가능한 실행 근거를 살펴보세요.
번역을 변경하기 전에 준수하지 않은 규칙과 해당 규칙이 지적하는 문구를 확인하세요. 모호하거나 모순된 규칙은 규칙에서 명확히 다듬어야 할 수 있습니다. 용어집 준수도와 마찬가지로 과거 이벤트 평가에서도 생성 시점의 스냅샷이 아닌 현재 연결된 지침을 사용합니다.
수정 패턴 #
수정 패턴 분석은 모델에 초안과 대상 텍스트 사이의 변경 사항을 분류하도록 요청합니다. 한 비교에 여러 범주를 부여할 수 있습니다.
| 레이블 | 변경 내용 |
|---|---|
register | 격식 또는 공손함. |
word_choice | 같은 의미를 다른 표현으로 전달. |
terminology | 제품 또는 전문 분야 용어. |
reordering | 단어나 절의 순서. |
grammar | 문법적 일치, 격, 시제 또는 기타 문법. |
punctuation | 문장 부호 또는 띄어쓰기. |
addition | 초안에서 빠진 의미 추가. |
omission | 초안에서 덧붙인 의미 제거. |
mistranslation | 의미 해석의 변경. |
formatting | 자리표시자, 마크업, 대소문자 또는 숫자. |
분류기는 이전 버전이 없는 문자열과 공백 정규화 후 일치하는 텍스트를 건너뜁니다. 레이블은 추정되는 변경 유형을 설명할 뿐, 별도로 확인된 결함이나 시간 절감 효과를 나타내지는 않습니다.
현재 결과 목록 및 상세 조회 경로에서는 불리언 응답과 숫자 응답만 걸러서 제공합니다. 상세 응답 명세에는 구조화된 데이터를 위한 answer 필드가 있지만, 현재 이 경로에서는 저장된 JSON 수정 패턴 행을 반환하지 않습니다. 이 조회 작업에서 범주별로 분류된 내보내기 결과를 기대하기보다는, 확인 가능한 수정 비교와 직접 살펴본 텍스트를 활용하세요.
사용량과 해석 #
수정률과 수정 거리는 LLM 비용 없이 응답을 계산합니다. 성공적으로 완료된 측정 활동의 사용량은 별도로 집계하므로, 모델 비용이 없다고 해서 측정이 무료라는 뜻은 아닙니다. 비용에서는 집계 범위를, 결과에서는 널 응답과 측정 범위를 설명합니다.