사용자 지정 측정 항목

콘텐츠에 맞는 검사를 만들고, 응답 유형과 이벤트 범위를 선택한 뒤, 의도한 변화를 감지하는지 테스트하세요.

사용자 지정 측정 항목으로 콘텐츠 요구 사항 하나를 테스트할 수 있을 만큼 명확하게 정의할 수 있습니다. 번역이 단서 조항을 유지하는지, 정해진 어조를 따르는지, 두 제품 개념을 명확히 구분하는지 등을 확인할 수 있습니다. 프롬프트는 어떤 차이가 중요하고 어떤 차이는 허용되는지 평가자에게 알려 줍니다.

이 페이지에서는 레이더 → 측정 항목에서 측정 항목을 만드는 방법을 안내합니다. 로컬라이제이션 엔진이 생성한 번역을 검토하려면 트리거로 localization.completed을 선택하세요. 엔진 선택 방법과 응답이 표시되는 위치는 Lingo.dev 번역 검토에서 설명합니다.

비교할 수 있도록 요구 사항 작성하기 #

원문에 어떤 기능이 승인 후 제공될 수 있다고 되어 있다고 가정해 보겠습니다. 번역문이 기능과 승인이라는 단어는 그대로 유지하면서도 가능성을 약속으로 바꿔 버릴 수 있습니다. 유용한 측정 항목은 단순히 용어가 일치하는지만 확인하는 것이 아니라, 이들 사이의 관계를 살펴야 합니다.

이 요구 사항을 확인하는 불리언 프롬프트는 다음과 같이 작성할 수 있습니다.

프롬프트 예시: 확실성의 정도와 조건 유지

원문과 번역문의 진술을 비교하세요. 번역문이 원문의 확실성 또는 의무의 정도, 조건, 그리고 이들 사이의 관계를 유지하면 참을 반환하세요. 표현과 문장 구조의 자연스러운 변화는 허용하세요.

가능성이 약속으로 바뀌거나, 의무가 달라지거나, 조건이 삭제되거나 잘못된 진술에 연결되면 거짓을 반환하세요. 설명에는 문제가 되는 원문과 번역문의 표현을 명시하고, 근거가 뒷받침되는 경우 수정안을 제안하세요.

텍스트에 적용 가능한 진술이 없거나 주어진 근거만으로 비교할 수 없으면 널을 반환하세요. 두 상황 중 어디에 해당하는지 설명하고, 누락된 근거가 있다면 무엇인지 밝히세요.

이 프롬프트는 응답이 타당한지 따져 볼 근거가 있는, 범위가 좁고 구체적인 질문을 정의합니다. 평가자에게 팀의 품질 기준 전체를 만들어 내라고 요구하지 않습니다.

측정 항목 만들기 #

  1. 레이더 → 측정 항목에서 새 측정 항목을 만들고 프롬프트를 입력하세요.
  2. 확실성의 정도와 조건 유지처럼 알아보기 쉬운 이름을 지정하세요.
  3. 값에서 불리언 응답을 받으려면 통과 또는 실패를 선택하세요. 중간값의 의미를 직접 정의할 수 있는 수치 척도를 사용하려면 0~100을 선택하세요.
  4. 예시 프롬프트처럼 평가자가 해당 없음으로 응답할 수 있어야 한다면 해당 없음 허용을 켜 두세요. 이 설정을 끄면 평가자는 반드시 통과, 실패 또는 점수로 응답해야 합니다.
  5. 트리거와 언어를 선택하세요. 양식에는 기본적으로 로컬라이제이션 완료가 선택되어 있습니다. 필요한 근거가 다른 이벤트 유형을 통해 들어온다면 이 설정을 변경하세요. 언어를 선택하지 않으면 모든 대상 로캘에 적용됩니다.
  6. 측정 항목 만들기를 선택하세요. 선택한 이벤트 조건이 활성화된 상태로 정의가 저장됩니다. 일반 탭에서 원본 언어, 엔진 또는 표본으로 해당 조건의 범위를 좁히거나, 이벤트 선택으로 다른 이벤트 유형을 추가하세요.

평가자는 플랫폼에서 관리하는 평가 모델을 사용합니다. 측정 항목의 프롬프트는 생성 모델을 선택하거나, 로컬라이제이션 엔진의 지침을 변경하거나, 콘텐츠 업로드 경로를 추가하지 않습니다. 평가에 필요한 근거를 제공하려면 지원되는 수집 경로를 구성하세요.

응답 규약 이해하기 #

응답 유형반환되는 판정
boolpass: 참, 거짓 또는 널.
scorescore: 0부터 100까지의 유한한 값 또는 널.

두 유형 모두 널을 허용하는 reasoning 및 suggestion를 포함합니다. 널 판정은 해당 없음 허용이 켜져 있을 때만 가능합니다. 널은 평가자가 요청된 판정을 내릴 수 없었다는 뜻이며, 그 사유는 적용 불가, 불확실성 또는 근거 부족일 수 있습니다. 조건의 선택 기준에 맞지 않는 이벤트는 이 설정과 관계없이 평가자에게 판정을 요청하지 않고 해당 없음으로 표시됩니다. 백분율은 직접 정의한 척도상의 값이며, 그 자체로 번역이 올바를 확률을 뜻하지는 않습니다.

결과 기록에서는 불리언 또는 점수가 value, valueKind, notApplicable을 통해 표시됩니다. 숫자 0의 의미를 해석하기 전에 해당 없음 표시를 확인하세요. 이 표시 방식과 확인 가능한 평가자 추적 기록은 결과에서 설명합니다.

프롬프트가 의도한 차이를 구분하는지 테스트하기 #

조건을 저장한 뒤 지원되는 테스트 이벤트를 몇 개 생성하거나, 기존 이벤트를 대상으로 범위를 한정해 과거 데이터 평가를 실행하세요. 이미 확인된 오류와 허용 가능한 번역을 함께 포함하세요. 약속의 내용이 바뀐 사례, 조건이 삭제된 사례, 관련 없는 레이블, 원문이 누락된 사례, 의미를 유지하면서 자연스럽게 바꿔 쓴 사례 등을 넣어 보세요.

실제 텍스트와 응답을 나란히 살펴보세요. 검사가 허용 가능한 바꿔 쓰기를 문제로 표시한다면 어떤 지침이 오탐을 유발했는지 확인하세요. 삭제된 조건을 놓친다면 요구 사항을 더 명확하게 작성한 뒤, 프롬프트 수정에 사용하지 않은 예시로 테스트하세요. 측정 항목 설계 가이드에서는 초기 설정 이후의 보정과 보고 방법을 더 자세히 다룹니다.

정의와 범위 관리하기 #

사용자 지정 측정 항목은 조직이 소유합니다. 프롬프트, 이름, 값 유형, 해당 없음 허용은 일반 탭에서 수정할 수 있습니다. 각 조건에서는 개별 이벤트 유형을 선택하고 언어, 원본 언어, 엔진, 표본으로 범위를 좁힐 수 있습니다. 언어 선택은 로캘 계층 구조를 따릅니다. fr을 선택하면 fr-CA도 선택되지만, fr-CA을 선택해도 fr-FR는 선택되지 않습니다. 이벤트 선택을 참고하세요.

실패 판정 기준을 변경하기 전에 이전 정의와 유용한 결과를 저장하세요. 과거 데이터 평가는 현재 정의를 사용하며, 같은 기간을 다시 측정하면 해당 기간의 응답을 대체합니다. 따라서 기준 변경 전후의 결과를 모두 보존할 수는 없습니다. 정의를 삭제하면 이전에 기록된 값은 해당 정의 없이 남습니다. 앞으로의 검사만 중단하려면 측정 항목을 끄는 편이 영향 범위가 더 작습니다.