AI 평가자

AI 평가는 로컬라이제이션 엔진이 생성한 번역을 살펴보는 자동 검사입니다. 대시보드에서는 측정값 수라고 부르며, Radar → 측정값 수에서 확인할 수 있습니다. 두 이름은 같은 기능을 가리킵니다. 각 측정 항목은 번역에 관한 하나의 질문에 통과 또는 실패, 혹은 0~100점으로 답하고 그 이유를 설명합니다. 평가는 번역이 완료된 후 비동기로 실행되며, 번역을 차단하거나 수정하거나 출시 여부를 결정하지 않습니다.

작동 방식#

완료된 모든 로컬라이제이션은 Radar에 localization.completed 이벤트로 기록됩니다. 이벤트에는 원문과 번역문, 양쪽 로캘, 엔진, 요청의 맥락이 담깁니다. 해당 이벤트 유형에서 실행되도록 설정된 측정은 조건에 맞는 이벤트의 평가를 큐에 추가합니다. 평가 결과는 평가한 이벤트와 함께 저장됩니다.

엔진 번역을 위한 별도의 평가자 리소스는 없습니다. 같은 측정으로 GitHub 저장소나 Zendesk 도움말 센터 등 연결된 소스에서 수집한 번역 변경 사항도 평가할 수 있습니다. 아래에서 설명하는 수정 관련 측정은 이러한 변경 사항을 근거로 삼습니다.

레이더 → 측정값 수를 열면 기본 제공 탭이 표시됩니다. 내 측정값 수에서는 조직에서 작성한 측정 항목을 확인할 수 있습니다. 각 항목에는 측정 대상 이벤트 유형, 값 유형, 언어, 지금까지 측정한 이벤트 수, 활성화 여부가 표시됩니다.

기본 제공 측정#

Lingo.dev는 각 기본 제공 측정의 계산 항목과 실행 가능한 이벤트 유형을 정의합니다. 실행 여부와 대상 이벤트는 조직에서 결정합니다.

측정을 켜려면 Radar → 측정에서 해당 측정을 열고 평가할 언어, 원문 언어, 엔진, 표본을 선택하세요. 그런 다음 활성화를 켜고 변경 사항 저장을 선택하세요. 기본 제공 측정은 수정하거나 삭제할 수 없습니다. 용어집 준수와 규칙 준수는 엔진별로 켤 수도 있습니다. 엔진의 평가 켜기를 참조하세요.

용어집 준수 #

엔진이 사용하는 용어집의 용어가 번역에 적용되었는지 확인합니다. 대상 로캘이 일치하고 원문 용어가 원문에 등장하는 항목을 선택하면, 평가 모델이 각 항목의 판단 결과를 반환합니다. 사용자 지정 번역(예: "배포" → "배포하다")은 문맥에 맞게 자연스럽게 활용할 수 있지만, 번역하지 않는 용어(예: "OAuth")는 그대로 유지해야 합니다. 같은 용어에 대한 항목끼리 충돌하는 경우에는 그중 하나만 따라도 적용한 것으로 인정합니다.

점수는 반환된 판단 결과 중 적용된 것으로 표시된 결과의 비율입니다. 원문에 적용할 용어집 용어가 없으면 해당 없음으로 응답합니다.

규칙 준수 #

엔진이 대상 로캘에 적용하는 각 규칙을 준수, 미준수, 해당 없음으로 개별 평가합니다. 엔진이 세 가지 규칙을 적용한다면, 평가 모델은 각각의 근거를 담은 세 가지 판단 결과를 반환합니다.

점수는 적용 대상 규칙 중 준수한 규칙의 비율입니다. 콘텐츠에 해당하지 않는 규칙은 계산에서 제외됩니다. 예를 들어 제품 이름만 있는 번역에는 격식 있는 호칭에 관한 규칙이 해당하지 않습니다. 적용할 규칙이 없으면 점수도 없습니다.

두 검사 모두 엔진이 번역을 생성할 때 사용한 용어와 규칙의 스냅샷이 아니라, 검사 실행 시점의 엔진 용어집 용어와 규칙을 읽습니다.

MQM#

MQM은 모델에 번역 오류를 나열하도록 요청하며, 점수를 매기도록 요청하지는 않습니다. 각 오류에는 문제가 있는 정확한 단어, MQM 핵심 차원 일곱 가지 중 해당 차원, 심각도, 문제를 설명하는 한 줄이 포함됩니다. 일곱 가지 차원은 정확성, 용어, 언어 관례, 문체, 로캘 관례, 독자 적합성, 디자인 및 마크업입니다. 이벤트에 엔진이 명시되어 있으면 모델은 해당 언어에 대한 엔진의 브랜드 보이스, 규칙, 원문에 쓰인 용어집 용어도 확인합니다.

점수는 이 목록을 바탕으로 산술 계산합니다. 지적한 단어가 번역문에 없는 오류는 제외합니다. 나머지 오류에는 중립 0, 경미 1, 중대 5, 치명적 25의 가중치를 부여하고, 합계를 원문 100단어당 값으로 정규화합니다.

max(0, 100 − 100 × summed error weights / source word count)

100점은 오류가 없다는 뜻이며, 차원별 점수도 같은 공식으로 계산합니다. 중국어, 일본어, 한국어, 태국어처럼 공백 없이 쓰는 문자 체계에서는 한 글자를 한 단어로 계산합니다. 원문에 단어가 없으면 해당 없음으로 응답합니다.

수정률, 편집 거리, 수정 패턴#

이 세 가지 측정은 변경된 번역을 문자열의 이전 버전과 비교합니다. Zendesk 도움말 센터 동기화나 GitHub App이 번역을 커밋하거나 CLI가 번역을 푸시하는 저장소처럼 Lingo.dev가 직접 번역을 작성하는 경우, Lingo.dev가 작성한 버전마다 한 번, 사람이 해당 버전을 변경할 때 한 번씩 결과를 반환합니다.

• Lingo.dev가 작성한 버전은 변경 없음으로 응답합니다. 수정률은 false, 편집 거리는 0입니다.
• Lingo.dev가 작성한 버전 바로 다음에 사람이 작성한 버전은 Lingo.dev 버전과 비교합니다. 결과로 수정률 true, 변경의 편집 거리, 수정 패턴을 반환합니다.
• 사람이 추가로 수정하거나, Lingo.dev의 텍스트로 되돌리거나, 공백을 제외한 Lingo.dev의 텍스트를 그대로 유지하는 변경은 해당 없음으로 응답합니다.

따라서 각 false은 Lingo.dev가 작성한 번역 하나를, 각 true는 사람이 변경한 번역 하나를 나타냅니다. Lingo.dev가 작성한 번역 100개 중 5개가 변경되었다면 수정률은 5%입니다.

탐색에서 불리언 값과 평균을 선택하면 해당 비율을 바로 확인할 수 있습니다. Lingo.dev가 작성한 번역은 사람이 수정한 경우 통과로, 아무도 수정하지 않은 경우 실패로 각각 한 번만 집계되며, 수정 사항은 중복 집계되지 않습니다. 수정 사항은 해당 번역이 작성된 기간에 반영되므로, 사람들이 최근 주에 작성된 번역을 수정하면 그 주의 비율이 올라갈 수 있습니다.

수정률은 비교 전에 앞뒤 공백을 제거하고 내부의 연속 공백을 하나로 줄이므로, Save changes과 Save changes는 변경 없음으로 간주합니다. 편집 거리는 원본 텍스트 간의 레벤슈타인 거리, 즉 삽입·삭제·대체 횟수를 더 긴 텍스트의 길이로 나눈 뒤 100을 곱한 값입니다. 비교하기에 너무 긴 텍스트는 해당 없음으로 응답합니다. 두 측정을 함께 보면 잦은 소규모 수정과 간헐적인 전면 수정을 구분할 수 있습니다. 수정 패턴은 변경 사항을 격식 수준, 어휘 선택, 용어, 순서 변경, 문법, 문장 부호, 추가, 누락, 오역, 서식 등의 범주로 분류합니다.

이 세 가지 측정은 어느 표현이 더 나은지 판단하지 않으며, 소요 시간도 측정하지 않습니다.

엔진의 평가 켜기 #

엔진의 검토자 탭에는 두 개의 섹션이 있습니다:

자동 평가에는 용어집 준수와 규칙 준수 스위치가 각각 있습니다. 스위치를 켜면 해당 기본 제공 측정에 엔진이 추가되고 측정도 활성화됩니다. 끄면 해당 엔진이 제거됩니다. 측정의 언어와 표본 설정은 그대로 유지됩니다. 기본 제공 측정이 모든 엔진에서 실행되는 경우, 각 엔진의 스위치가 켜진 상태로 표시됩니다. 이때 엔진 하나를 끄면 현재 나머지 엔진의 목록이 저장되므로, 이후 생성되는 엔진은 목록에 추가하기 전까지 평가되지 않습니다. 평가 사용량에 따라 과금하는 요금제를 사용 중이라면 이 섹션에 실행당 과금과 요율이 표시됩니다.

제안에는 엔진 제안 스위치가 있습니다. 엔진 제안은 사용자 지정 측정의 낮은 평가 결과를 생성하는 기능이 아니라, 그 결과에 따라 동작하는 기능입니다.

MQM과 사용자 지정 측정은 이 탭에 없습니다. MQM은 Radar에서 켜고, 사용자 지정 측정의 대상 엔진은 해당 측정의 조건에서 선택하세요.

사용자 지정 측정값 수 #

사용자 지정 측정은 자체 품질 요건 하나를 검사할 수 있을 만큼 명확하게 정의합니다. 예를 들어 한정 조건 유지, 보이스 요건 준수, 두 제품 개념의 명확한 구분을 기준으로 삼을 수 있습니다. 사용자 지정 측정은 조직에 속합니다.

통과 또는 실패 결과는 통과율로 집계됩니다. 75%는 응답이 나온 번역 4개 중 3개가 통과했다는 뜻입니다. 0~100 결과는 평균으로 집계됩니다. 백분율은 프롬프트에서 정의한 척도상의 값이지, 번역이 올바를 확률이 아닙니다.

평가할 번역 선택#

각 조건과 기본 제공 측정의 설정은 해당 유형의 이벤트를 다음 기준으로 좁힙니다.

변경 사항 저장을 선택해 설정을 적용하세요. 로캘은 텍스트의 정확한 일치 여부가 아니라 로캘 계층에 따라 선택됩니다. fr은 fr-CA도 선택하며, fr-CA은 fr-FR를 선택하지 않습니다. 엔진 없이 기록된 요청은 엔진으로 범위를 제한한 조건을 충족하지 못합니다.

표본 포함 여부는 이벤트와 측정별로 결정됩니다. 따라서 같은 이벤트를 다시 평가해도 특정 표본에 포함되는지 여부는 바뀌지 않습니다. 이벤트 수가 적으면 실제 표본 비율이 설정한 비율과 다를 수 있습니다.

선택한 유형의 이벤트가 선택기 조건을 충족하지 못해도 응답은 생성됩니다. 응답은 N/A로 표시되며, 판단 근거는 "조건 미충족"으로 시작하고 해당 선택기를 명시합니다. 이 응답에는 요금이 부과되지 않습니다. 품질 지표를 계산할 때는 이러한 응답을 분모에서 제외하되, 전체 번역량 중 평가한 분량을 설명할 때는 포함하세요.

활성화는 측정 항목의 모든 조건을 한꺼번에 켜거나 끕니다. 끄면 이후 평가는 중단되지만, 이미 큐에 들어간 작업은 완료될 수 있습니다.

지침 작성 #

프롬프트는 사용자 지정 측정 항목의 핵심으로, 평가자가 무엇을 확인해야 하는지 정확히 알려줍니다. 구체적이고 검증 가능한 기준으로 작성하세요.

좋은 지침#

통과 또는 실패:

Check whether all HTML tags in the source text are preserved
exactly in the translation. Tags must not be added, removed,
modified, or reordered. Pass if all tags are preserved, fail
if any tag is missing or altered.

0~100점:

Rate the fluency of the translation on a scale of 0-100.
100 means a native speaker would find it completely natural.
0 means it reads like machine output. Deduct points for
awkward phrasing, unnatural word order, or overly literal
constructions.

좋은 지침의 조건#

• 구체적인 기준 - 통과와 실패가 정확히 무엇을 뜻하는지, 또는 0점과 100점이 무엇을 나타내는지 정의하세요.
• 확인 가능한 결과 - 평가자가 의도를 추측하지 않고 텍스트를 읽는 것만으로 판단할 수 있어야 합니다.
• 측정 항목당 하나의 평가 기준 - 여러 측면의 품질을 확인하려면 각각 별도의 측정 항목으로 나누세요.
• 판단을 보류할 경우 - 해당 없음 허용을 켰다면 기준이 적용되지 않는 경우를 명시하세요. 그래야 기준과 무관한 번역을 판단 근거가 부족한 번역과 혼동하지 않습니다.

새 측정 항목의 응답을 여러 번역에 본격적으로 활용하기 전에, 직접 살펴볼 수 있는 번역으로 테스트하세요. 이미 파악한 오류가 있는 번역과 표현은 달라도 적절한 번역을 모두 포함하세요.

N/A 응답#

해당 없음 허용을 켜면 평가자는 판정이나 점수 대신 N/A로 응답할 수 있습니다. 예를 들어 격식체와 비격식체의 구분이 없는 언어에 격식체 검사를 적용하는 경우입니다. N/A 응답은 평균과 통과율에서 제외되므로 점수를 낮추거나 부풀리지 않습니다. 이 설정을 끄면 평가자는 반드시 통과, 실패 또는 점수로 응답해야 합니다. 조건을 충족하지 못한 이벤트는 이 설정과 관계없이 평가자에게 요청하지 않고 N/A로 처리됩니다.

응답 확인#

각 응답에는 판단 근거가 포함되며, 근거가 충분한 경우에는 수정 제안도 함께 제공됩니다.

• 레이더 → 로그 → 측정값 수에서 모든 응답을 확인할 수 있습니다. 측정 항목과 값으로 필터링한 뒤, 응답 하나를 열어 값, 판단 근거, 제안, 평가자의 요청을 확인하세요.
• 엔진의 로그 탭에는 각 번역 요청에 대한 검토 열이 있습니다. 각 사용자 지정 측정 항목의 최신 응답을 바탕으로 통과는 100점, 실패는 0점으로 계산하고 N/A는 제외해 평균을 냅니다. 모든 응답이 N/A이면 N/A, 응답이 없으면 검토되지 않음이 표시됩니다. 용어집 준수, 규칙 준수, MQM은 이 열에 포함되지 않습니다.
• 보고서는 레이더 개요와 탐색에서 시간에 따른 응답 추이를 차트로 보여줍니다.

엔진이 번역한 결과에 대한 사용자 지정 측정 항목의 응답이 실패이거나 점수가 낮으면 엔진 제안이 생성될 수도 있습니다. 응답 자체가 번역을 변경하지는 않습니다.

기존 번역 평가#

오늘 활성화한 측정 항목은 새로 발생하는 이벤트를 검사합니다. 이미 수집된 이벤트에 적용하려면 해당 항목의 백필 탭을 열고 기간을 선택하세요. 상단의 측정 완료에는 선택한 기간의 이벤트 중 측정 결과가 있는 이벤트 수가 전체와 출처별로 표시됩니다. 예를 들어 저장소에는 "7,600개 중 1,180개"로 표시됩니다. 날짜 아래에는 해당 기간의 이벤트 수가 각 GitHub 저장소, Zendesk 도움말 센터, Crowdin 프로젝트, Lingo.dev 등 출처별로, 그리고 측정 항목에서 활성화된 조건의 이벤트 유형별로 표시됩니다. 이를 통해 백필이 어떤 이벤트를 읽을지 확인할 수 있습니다. 백필로 아직 결과가 없는 이벤트만 측정하거나, 해당 기간의 이벤트를 다시 측정해 기존 결과를 대체할 수 있습니다. 다시 측정하기 전에 비교에 필요한 정의와 결과를 저장하세요.

검토 모델#

평가 모델은 사용자가 선택하지 않습니다. 용어집 준수, 규칙 준수, MQM, 수정 패턴, 사용자 지정 측정 항목은 플랫폼이 지정한 모델로 평가합니다. 이 모델은 엔진이 번역에 사용하는 모델과 별도로 설정됩니다. 수정률과 편집 거리는 모델 없이 계산됩니다.

측정 항목 변경 또는 삭제#

사용자 지정 측정 항목의 일반 탭에서 프롬프트, 이름, 값 유형, 해당 없음 허용 설정과 조건을 수정한 다음 변경 사항 저장을 선택하세요. 기준을 변경하면 이후 응답의 의미도 달라지므로, 비교에 사용할 결과와 함께 이전 정의도 보관하세요.

사용자 지정 측정 항목을 삭제하면 정의와 조건이 제거됩니다. 기록된 응답은 알 수 없는 측정 항목으로 표시되어 남지만, 더 이상 엔진의 검토 열 계산에는 포함되지 않습니다. 정의를 유지하면서 이후 평가를 중단하려면 삭제하는 대신 측정 항목을 끄세요.

MCP로 측정 항목 관리#

Lingo.dev MCP server를 사용하면 AI 코딩 도우미로 측정 항목을 조회, 생성, 수정하고, 조건을 설정하고, 켜거나 끄고, 응답을 확인할 수 있습니다.

"Create a pass-or-fail measurement on completed localizations
that checks whether HTML tags are preserved in translations."

"Add a 0 to 100 fluency measurement for English to German
translations from the docs engine, sampling 50% of them."

다음 단계#