Lingo.dev 번역 평가
로컬라이제이션 엔진이 생성한 번역에 측정을 실행하세요. 엔진, 언어, 샘플링을 선택하고 각 평가 결과를 해당 요청과 함께 확인할 수 있습니다.
Lingo.dev에서 생성한 번역도 수집된 활동을 살펴볼 때와 동일한 측정으로 평가할 수 있습니다. 로컬라이제이션이 완료될 때마다 레이더에 localization.completed 이벤트가 생성되며, 이 이벤트 유형에서 실행되는 각 측정은 출력에 대한 질문에 답합니다. 이 평가 결과를 통해 번역을 다시 생성하지 않고도 생성된 번역을 이해할 수 있습니다.
Lingo.dev 요청 전용 평가자 리소스는 따로 없습니다. 평가는 레이더 → 측정의 측정으로 수행합니다. 평가할 요청을 결정하는 로컬라이제이션 엔진, 언어 쌍, 샘플링은 해당 측정의 localization.completed 조건에서 설정하며, 평가 결과는 평가한 이벤트와 함께 표시됩니다.
엔진의 자동 평가 켜기 #
로컬라이제이션 엔진의 평가자 탭을 여세요. 자동 평가에는 엔진의 용어집에 고정된 용어를 점검하는 용어집 준수 스위치와 규칙 세트의 규칙을 점검하는 규칙 준수 스위치가 있습니다. 스위치를 켜면 해당 기본 제공 측정에 엔진이 추가되고 측정이 활성화됩니다. 스위치를 끄면 해당 엔진이 측정 대상에서 제외됩니다. 측정의 언어 및 샘플 설정은 그대로 유지됩니다.
기본 제공 측정이 모든 엔진에서 실행 중이면 각 엔진의 스위치가 켜져 있습니다. 엔진 하나의 스위치를 끄면 현재 나머지 엔진 목록이 저장되므로, 이후에 생성한 엔진은 직접 추가하기 전까지 평가되지 않습니다. 저장된 적용 범위는 레이더에서 해당 기본 제공 측정의 엔진 선택기를 확인하세요.
이 탭에는 MQM과 사용자 지정 측정이 표시되지 않습니다. MQM은 레이더에서 켜고, 사용자 지정 측정의 대상 엔진은 해당 측정의 조건에서 선택하세요. 사용 중인 요금제가 평가 사용량에 따라 과금되는 경우, 자동 평가에 실행당 과금과 요율이 표시됩니다.
생성된 번역의 평가 기준 작성하기 #
사용자 지정 측정을 만들고 트리거로 localization.completed을 선택하세요. 이름과 프롬프트를 입력한 뒤 통과 또는 실패 또는 0~100을 선택하세요. 각 평가 결과가 무엇을 의미하는지 정의하세요. 한정 조건 유지와 같은 요구 사항에는 참 또는 거짓이 적합하며, 백분율을 사용하려면 부분적으로 충족한 정도를 나타내는 명확한 척도가 필요합니다.
해당 없음 허용을 켰다면 평가자가 언제 판단을 보류하고 그 결과를 어떻게 설명해야 하는지 정의하세요. 요구 사항 자체가 관련 없는 경우와, 요구 사항은 관련 있지만 번역에 근거가 부족한 경우는 모두 확정적인 판단을 내릴 수 없더라도 서로 다른 후속 조치가 필요합니다.
예를 들어 원문에서 영업일 기준 5일 이내 배송을 약속했다면, 여기에는 기한, 영업일이라는 한정 조건, 이행 약속이 담겨 있습니다. 이 약속을 점검할 때는 이들 사이의 관계 중 무엇이 달라졌는지 설명해야 합니다. 숫자가 일치한다는 것만으로는 원문의 주장이 유지되었다고 볼 수 없습니다.
평가자는 이벤트의 페이로드를 받습니다. 문서 작업의 경우 파일별로 묶인 원문과 번역문, 로캘 쌍, 엔진 식별자가 포함됩니다. 요청 수준의 컨텍스트 필드는 포함되지 않습니다. 평가자는 플랫폼에서 관리하는 평가 모델로, 텍스트를 생성한 모델과 같을 필요는 없습니다.
평가할 번역 선택하기 #
측정의 일반 탭에서 실행 대상 아래의 localization.completed 행을 통해 요청을 선택합니다.
| 선택기 | 선택 대상 |
|---|---|
| 언어 | 대상 로캘입니다. 모든 언어를 선택하면 대상 로캘 전체가 선택됩니다. |
| 원문 언어 | 원문 로캘입니다. 모든 원문 언어를 선택하면 원문 로캘 전체가 선택됩니다. |
| 엔진 | 평가할 번역을 생성한 로컬라이제이션 엔진입니다. 모든 엔진에는 나중에 추가되는 엔진도 포함됩니다. |
| 샘플 | 모든 이벤트 또는 나머지 조건에 따라 선택된 이벤트의 50, 25, 20, 10, 5, 1%입니다. |
변경 사항 저장을 선택해 적용하세요. 로캘 선택은 이벤트 선택에서 설명하는 로캘 계층 구조를 따릅니다. fr을 선택하면 fr-CA도 선택되지만, fr-CA을 선택해도 fr-FR은 선택되지 않습니다. 로컬라이제이션 엔진 없이 기록된 요청은 특정 엔진으로 제한된 조건을 충족하지 못합니다.
샘플링은 조건에 맞는 요청 중 일정 비율을 선택하는 방식으로, 소규모 배치에서 정확한 개수를 보장하지는 않습니다. 샘플, 언어 또는 엔진 선택 범위에서 제외된 요청에도 해당 없음 결과가 표시되며, 판단 근거는 “조건 미충족”으로 시작합니다. 이러한 요청에는 요금이 부과되지 않습니다. 보고서에서는 조건에 부합하는 전체 모집단과 실제로 선택된 요청을 구분하세요. 샘플링으로 의도적으로 제외된 요청은 평가 실패가 아닙니다. 다만 모집단 중 얼마나 많은 요청이 확정적인 결과를 받았는지 설명할 때는 이렇게 제외된 요청도 고려해야 합니다.
점검에서 참조하는 지침 확인하기 #
용어집 준수와 규칙 준수는 실행 시점의 엔진 용어집 용어와 규칙을 참조합니다. 이벤트에 엔진이 명시되어 있으면 MQM은 해당 엔진의 현재 브랜드 보이스, 규칙, 일치하는 용어를 추가합니다. 어느 측정도 요청과 함께 기록된 지침의 스냅샷을 재구성하지는 않습니다. 따라서 번역 생성 후 용어를 변경하면 나중에 실행하는 과거 데이터 평가에서 점검하는 내용도 달라집니다.
발견 사항이 없다는 사실만으로는 번역 생성 당시 어떤 지침이 사용되었는지 알 수 없습니다. 요청에서 원본 배치와 모델의 생성 시도 내역을 살펴보고, 제출된 컨텍스트와 엔진 구성을 컨텍스트 검색의 내용과 비교하세요.
비동기 평가 결과 읽기 #
로컬라이제이션이 완료되면 측정이 큐에 등록됩니다. 큐 등록과 평가는 번역과 별개로 진행되므로, 출력이 정상적으로 생성되어도 평가 결과는 없을 수 있습니다.
레이더 → 로그 → 측정에서 평가 결과를 확인할 수 있습니다. 측정과 값으로 필터링한 다음 평가 결과를 열어 값, 판단 근거, 제안, 평가자에게 보낸 요청을 확인하세요. 결과의 바탕이 된 이벤트가 조사 중인 작업 및 로캘과 일치하는지 확인하세요. 결과에서는 확정적인 평가 결과, 해당 없음, 실행 누락을 구분합니다.
엔진이 생성한 번역의 사용자 지정 측정 결과가 실패이거나 점수가 낮으면 로컬라이제이션 엔진 제안의 근거로도 사용될 수 있습니다. 평가 결과 자체가 번역을 변경하지는 않습니다.
비동기 평가는 번역 파이프라인을 차단하지 않으며, 출력을 게시용으로 승인하지도 않습니다. 선택 사항인 사후 편집과 사람의 판단은 파이프라인, 검토 정책, Inbox에서 별도로 설정합니다.
평가 중지 또는 측정 삭제하기 #
앞으로의 평가를 중지하려면 엔진의 스위치를 끄거나, 조건에서 엔진을 제거하거나, 측정을 끄세요. 이미 큐에 등록된 작업은 계속 진행되어 완료될 수 있습니다.
사용자 지정 측정을 삭제하면 해당 정의와 조건이 제거됩니다. 기록된 평가 결과는 그대로 남으며 알 수 없는 측정으로 표시됩니다. 삭제하기 전에 해당 정의를 근거로 삼는 조사 자료와 함께 정의를 보관하세요.
평가 결과가 없다면 다시 번역하기 전에 원래 요청과 해당 이벤트, 측정의 엔진, 언어, 샘플 설정, 해당 없음 결과의 판단 근거를 살펴보세요. 측정을 켜기 전에 생성된 번역을 평가하려면 과거 데이터 평가를 사용하세요. 재현 시에는 새 작업이 생성되며 다른 모델이나 지침이 선택될 수 있습니다. 재현만으로 원래 시도를 정확히 복원할 수는 없습니다.