번역 품질 측정 설계하기
언어 요구사항을 검증 가능한 기준으로 구체화하고, 판정을 보정한 뒤 발견한 문제의 빈도와 범위를 보고하세요.
품질 점수는 무엇이 달라지면 점수가 변하는지 설명할 수 있을 때 유용합니다. 번역에서 중요한 조건이 빠졌다면 측정은 그 누락을 감지해야 합니다. 같은 내용을 더 자연스럽게 표현했다면 허용할 수 있는 차이로 인정해야 합니다. 측정을 설계한다는 것은 이런 차이를 검증할 수 있을 만큼 명확히 구분하는 일입니다.
이 가이드는 하나의 요구사항을 정의하고 보정한 뒤 결과를 보고하는 과정을 안내합니다. 외부 공급업체, 내부 파이프라인, Lingo.dev 중 어디에서 번역하든 적용할 수 있습니다. 목표는 작성자가 곁에 있어야 의미를 알 수 있는 숫자가 아니라, 다른 사람도 같은 조건에서 실행하고 해석할 수 있는 측정을 만드는 것입니다.
중요하게 다룰 의미 변화를 정의하세요 #
콘텐츠가 의도한 효과에서 출발하세요. 지시문은 올바른 행동으로 이어져야 합니다. 주장은 표현의 강도와 제한 조건을 유지해야 합니다. 제품 용어는 다른 언어에서도 같은 개념을 가리켜야 합니다. “정확한 번역”이라는 말은 지향점을 제시하지만, 이런 차이를 명확히 구분해 주지는 않습니다.
확실성의 정도와 조건을 살펴보세요. 승인 후 이용할 수 있게 될 수도 있습니다에는 가능성, 승인이 필요하다는 조건, 그리고 둘 사이의 관계가 모두 담겨 있습니다. 이용 가능 여부와 승인에 해당하는 단어가 번역에 남아 있더라도, 이를 조건 없는 약속으로 옮기면 주장의 의미가 달라집니다.
이 차이를 구분하는 기준은 다음과 같이 작성할 수 있습니다.
기준 예시: 주장과 조건 보존
원문의 주장과 번역문의 주장을 비교하세요. 번역문이 다음 요소를 보존하는지 확인하세요.
- 확실성 또는 의무의 정도.
- 주장이 적용되는 상황을 제한하는 각각의 조건.
- 조건과 주장 사이의 관계.
이런 의미를 보존한다면 표현과 문장 구조가 달라도 허용하세요. 오류가 의심되면 원문과 번역문의 해당 구절을 짚고, 어떤 약속이나 조건이 달라졌는지 설명하세요. 주어진 텍스트만으로 비교할 수 없다면 무엇이 부족한지 설명하세요.
이 기준은 평가자가 구체적으로 무엇을 살펴봐야 하는지 알려 줍니다. 검토자가 판정에 이의를 제기할 근거도 제공합니다. 막연히 “정확성을 확인하세요”라고 요청하면 평가자와 검토자 모두 각자의 기준을 적용하게 됩니다.
다음에 내릴 결정에 맞춰 범위를 정하세요. 더 면밀한 검토가 필요한 문장을 찾으려면 신뢰할 수 있는 탐지와 이해하기 쉬운 결과가 필요합니다. 공급업체를 비교하려면 공통 표본과 결과를 요약할 방법도 필요합니다. 특정 항목의 게시 여부를 결정하려면 해당 항목에 적용되는 요구사항이 필요합니다. 같은 검사가 세 가지 결정에 모두 도움이 될 수는 있지만, 그 결정을 모두 대신 내려 주는 것은 아닙니다.
질문에 답할 수 있는 텍스트를 선택하세요 #
측정 단위를 정의하세요. 위 기준에서는 원문의 주장 하나와 그에 대응하는 번역문의 주장을 사용하고, 조건을 해석할 수 있도록 주변 텍스트를 충분히 포함하세요. 콘텐츠 식별자, 원문 버전, 번역문 버전, 로캘을 함께 관리하세요. 이전 원문을 정확히 번역한 문장도 새 원문과 비교하면 잘못된 번역처럼 보일 수 있습니다.
살펴보려는 차이를 확인할 수 있는 콘텐츠를 선택하세요. 주장이 없는 탐색 메뉴 레이블은 이 기준의 적용 범위에 들지 않습니다. 이를 통과로 집계하면 확실성이나 조건이 보존되었는지는 알 수 없으면서 통과율만 높아집니다.
근거가 부족한 경우는 별도로 다뤄야 합니다. 선택한 주장에 대응하는 원문이 없다면 여전히 평가할 작업에는 속하지만, 아직 비교할 수는 없습니다. 이 공백이 드러나도록 하세요. 기준의 적용 여부가 불분명하다면 항목을 조용히 제외하지 말고 불확실성을 기록하세요.
판정을 바꿀 수 있는 맥락을 제공하세요. 용어 정의나 제품 규칙은 모호함을 해소할 수 있지만, 관련 없는 콘텐츠는 주의만 분산시킬 수 있습니다. 번역문만 확인하는 맞춤법 검사에는 원문과 번역문의 의미 비교보다 적은 근거가 필요합니다. 무엇을 수집할지는 질문에 따라 정해집니다.
각 판정의 의미를 명확히 하세요 #
주장 보존 예시에서는 세 가지 판정이면 충분합니다.
| 판정 | 의미 |
|---|---|
| 보존됨 | 동등한 의미의 다른 표현을 허용하되, 번역문이 원문의 확실성, 의무, 관련 조건을 유지합니다. |
| 변경됨 | 해당 의미의 일부가 달라지거나 사라졌으며, 그 부분을 식별할 수 있습니다. 결과에는 영향을 받은 구절이 명시됩니다. |
| 판정 불가 | 평가자가 비교를 완료했지만, 주어진 근거로는 어느 쪽 결론도 뒷받침할 수 없었습니다. 설명에는 불확실한 부분이 명시됩니다. |
이는 방법론상 구분을 위한 레이블입니다. 사용하는 도구의 실제 응답 형식에 맞춰 대응시키세요. 응용 프로그램 인터페이스의 스키마를 뜻하는 것은 아닙니다. 예를 들어 레이더의 사용자 지정 불리언 측정은 판단 근거와 함께 참, 거짓 또는 널 응답을 반환할 수 있습니다. 널 응답의 원인은 하나가 아닐 수 있으므로 판단 근거를 살펴보세요.
중간 단계가 유의미한 차이를 나타낸다면 수치 척도를 사용하세요. 검토자가 알아볼 수 있는 표현으로 각 단계를 정의하세요. 80이라는 값은 “꽤 좋음”보다 더 구체적인 의미를 가져야 합니다. 심각도가 중요하다면 오류가 초래하는 결과를 기준으로 정의하고, 결과를 합칠 때도 심각한 문제가 드러나도록 하세요. 평균이 높더라도 중요한 구절에는 허용할 수 없는 변화가 있을 수 있습니다.
요청이 실패했다면 언어적 판정 자체가 완료되지 않은 것입니다. 평가를 완료한 뒤 판정 불가 응답을 반환한 경우와 구분하세요. 이 차이에 따라 다음 조치가 실행을 복구하는 일인지, 근거의 모호함을 해소하는 일인지 결정됩니다.
판정 근거를 이미 파악한 사례로 측정을 테스트하세요 #
팀에 평가 권한이 있는 콘텐츠로 보정용 데이터 세트를 준비하세요. 명확한 오류, 좋은 번역, 자연스럽게 바꿔 쓴 표현, 맥락에 따라 판정이 달라지는 사례를 포함하세요. 판정뿐 아니라 대상 선택도 테스트할 수 있도록 기준의 적용 범위를 벗어나는 콘텐츠도 포함하세요.
전문성을 갖춘 검토자가 기대 판정과 그 이유를 정하도록 하세요. 의견 차이도 유용한 정보를 줍니다. 원문을 두 가지로 해석할 수 있다면 의도한 의미를 확정하거나 불확실성을 그대로 남기세요. 기준은 명확한데 평가자가 허용할 수 있는 다른 표현을 거부한다면 측정을 개선해야 합니다.
두 가지 유형의 실수를 구분해 살펴보세요.
- 오탐은 허용할 수 있는 번역을 오류로 표시하는 경우입니다. 검토에 쏟아야 할 주의력을 소모하고 불필요한 수정을 유도할 수 있습니다.
- 미탐은 측정이 찾아내지 못한 실제 문제입니다. 그 영향은 발생 빈도뿐 아니라 어떤 종류의 의미가 사라졌는지에 따라 달라집니다.
수정한 측정은 지침 작성에 사용하지 않은 예시로 테스트하세요. 대규모 언어 모델이 평가한다면 모델, 프롬프트, 설정, 반복 실행에서 관찰한 편차를 보관하세요. 이전에 내린 자체 판정과 일치한다고 해서 팀의 기준과도 일치하는 것은 아닙니다.
보정을 마친 뒤에는 검사가 어디에서 잘 작동하고 어디에서 근거가 더 필요한지 구체적인 기록이 남아야 합니다. 하나의 콘텐츠 유형과 언어 쌍으로 테스트한 방법은 유용한 출발점이지, 회사가 만드는 모든 번역에 대한 결론은 아닙니다.
문제와 검사한 작업 범위를 함께 보고하세요 #
이미 파악한 사례에서 검사가 유용하게 작동한다면, 범위가 정해진 콘텐츠 집합이나 표본에 적용하세요. 표본을 어떻게 선택했는지도 기록하세요. 무작위 표본과 다른 검사에서 이미 위험하다고 판단한 번역을 골라 만든 표본에서는 서로 다른 추론을 할 수 있습니다. 후자는 문제를 찾는 데 도움이 되더라도 전체 콘텐츠에서 문제가 발생하는 빈도를 추정하는 데는 적합하지 않을 수 있습니다.
선정된 번역 쌍 가운데 평가 대상 요건을 충족하는 100쌍에서 다음과 같은 결과가 나왔다고 가정해 보겠습니다.
| 결과 | 쌍 수 |
|---|---|
| 의미 보존 | 72 |
| 의미 변경 | 8 |
| 평가 완료, 판정 불가 | 10 |
| 평가 미완료 | 10 |
선택한 번역 쌍의 90% 에서 평가가 완료되었습니다. 확정 판정을 얻은 비율은 80% 입니다. 확정 판정 80개 중 8개에서 변화를 확인했으므로, 확정 판정 중 문제가 발견된 비율은 10% 입니다. 나머지 20쌍에서는 의미가 보존되었는지 달라졌는지 어느 쪽도 확인할 수 없습니다.
세 수치가 모두 중요합니다. 확정 판정 80개 중 의미가 보존된 것은 72개이므로 확정 판정 중 통과율은 90% 입니다. “90% 통과”라고만 보고하면 평가를 완료했지만 판정할 수 없었던 10개와 평가가 완료되지 않은 10쌍이 가려집니다. 문제가 발견된 비율 10% 역시 이 측정을 이번 선정 대상에 적용한 결과일 뿐입니다. 이를 더 넓은 범위의 오류율로 해석하려면 적절한 표본과 오탐 및 미탐에 관한 근거가 필요합니다.
결정에 영향을 줄 수 있는 언어와 콘텐츠 유형별로 결과를 나누세요. 비율뿐 아니라 건수도 보여 주세요. 확정 판정을 얻은 비중이 낮은 언어는 안심을 주는 전체 수치에 묻히기 전에 원인을 살펴봐야 합니다. 반복되는 문제의 예시를 보관해, 팀이 실제로 무엇을 개선할 것인지 보고서에서 설명하세요.
변경 후에도 유의미하게 비교할 수 있도록 하세요 #
기준과 설정을 비교에 사용한 근거와 함께 저장하세요. 프롬프트, 모델, 대상 선정 규칙 또는 원문 요구사항이 바뀌면, 새 결과를 기존 결과의 연장선에서 다루기 전에 변경된 정의를 테스트하세요.
두 측정을 비교하려면 보관해 둔 동일한 텍스트를 두 정의에 따라 각각 평가하세요. 두 번역 방식을 비교하려면 기준과 관련 조건을 일관되게 유지하세요. 그렇지 않으면 점수 변화가 번역의 개선이 아니라 달라진 질문이나 더 쉬워진 콘텐츠를 반영할 수 있습니다.
과거 평가를 다시 실행하기 전에 비교 자료를 보존하세요
레이더의 과거 데이터 평가는 선택한 측정과 기간의 이전 판정을 대체합니다. 사용하기 전에 비교에 필요한 이전 정의와 결과를 저장하세요. 다시 실행해도 실험 양쪽의 결과가 모두 보존되지는 않습니다.
다른 사람이 의도한 텍스트를 선택하고, 근거를 제공하고, 각 판정을 설명하고, 보고된 계산을 재현할 수 있다면 측정을 사용할 준비가 된 것입니다. 이벤트 측정 또는 로컬 CLI 점수 평가로 검사를 구현하세요. 지속적으로 운영하는 외부 워크플로에 필요한 수집과 복구는 파이프라인의 번역 측정하기에서 다룹니다. 품질 문제 검증하기에서는 보고된 문제가 실제 문제인지 판단하는 다음 단계를 자세히 다룹니다.