内置测量
了解内置质量检查和编辑检查的输入、算法、结果尺度,以及证据缺失时的处理方式。
内置测量用于回答有关翻译或编辑的具体问题。编辑率检查两段文本是否存在差异,术语表遵循度检查是否使用了相关术语。只有保留各项数值本身的含义,将它们结合起来才有价值;它们并不构成一套通用的质量评分尺度。
在 测量中启用这些检查;也可以在各引擎的 AI 评估器选项卡中启用术语表遵循度和规则遵循度,具体方法见 审核 Lingo.dev 翻译。本参考文档介绍每项测量计算的内容,以及哪些证据能够支持其结果。
MQM #
MQM 要求模型只列出翻译中的错误,不返回任何其他内容,更不会返回分数。对于每个错误,模型会返回出错的确切词语、所属的 MQM 核心维度(准确性、术语、语言规范、风格、语言区域惯例、受众适宜性、设计与标记,共七个维度)、严重程度(中性、轻微、严重或致命),以及一行错误说明。如果事件指定了本地化引擎,模型还会获取该引擎当前的指导信息:适用于该语言的品牌语调、规则、源文本用到的术语表条目,以及请求的上下文。
MQM 也会评判翻译变更:每次目标文本的创建和更新都会接受评判,无论由谁操作。在 Zendesk 和 GitHub 中,由 Lingo.dev 写入的版本(定义见下文的编辑率说明)会依据生成该翻译时使用的品牌语调、规则和术语表条目进行评判,结果中还会注明生成该版本的任务。其他版本,例如人工编辑、还原操作、其他工具的翻译或 Crowdin 中的变更,则不使用任何引擎的指导信息。结果中的 isLingoRecord 字段用于区分这两类情况:这些其他版本使用 false,其余所有结果(包括已完成的本地化)使用 true,以便在探索中将 Lingo.dev 的翻译与其他翻译进行比较。翻译变更不指定引擎,因此,限定于引擎的 MQM 条件会对这些变更返回 N/A。
分数通过对这份错误列表进行算术计算得出。若某个错误所指的词语未出现在翻译中,该错误会被剔除。其余错误按严重程度赋予权重:中性为 0、轻微为 1、严重为 5、致命为 25,再将总值按每 100 个源文本词进行归一化:
max(0, 100 − 100 × summed error weights / source word count)100 表示没有错误。各维度的分数也使用同一公式计算。源文本词数只统计文本值,不统计键;对于中文、日文、韩文和泰文等不使用空格分词的文字,每个字符计为一个词。如果源文本没有任何词,则直接返回 N/A,不调用模型。
MQM 在本地化完成事件,以及目标文本创建和更新事件上运行。术语表遵循度和规则遵循度针对本地化完成事件配置。编辑率、编辑距离和编辑模式在目标文本创建和更新事件上运行。内置测量允许的事件类型由平台定义;启用时,请查看该测量的当前设置。
编辑率 #
编辑率将变更后的目标文本与字符串的上一版本进行比较。上一版本是同一字符串、同一语言区域最近一次先前创建或更新的目标文本;如果没有相关记录,则使用事件携带的变更前文本。比较前,会去除文本首尾的空白,并将文本内部每段连续空白替换为一个空格。没有先前版本的字符串视为未更改。
在由 Lingo.dev 自行写入翻译的来源中,三项编辑测量会针对 Lingo.dev 写入的每个版本,以及人工对该版本所做的变更给出结果。Lingo.dev 会记录每次交付的翻译:包括同步时写入 Zendesk 或提交到 GitHub 的内容,以及 API、CLI 和 CI 返回的内容。满足以下任一条件的版本会被计为 Lingo.dev 的版本:该版本由 Lingo.dev 自行写入,可通过提交记录或 Zendesk 标记的时间确认;或者该版本包含 Lingo.dev 在此版本之前为该字符串交付的最新翻译,例如由 CLI 生成的翻译。每次翻译只计一次,以首次包含该翻译的版本为准:在人工修改后恢复该翻译的版本,属于该人员的还原操作。
在这些来源中,Lingo.dev 写入的版本始终返回未更改:编辑率为 false,编辑距离为 0,编辑模式为不适用。紧接着 Lingo.dev 版本的人工版本会与该版本比较,返回编辑率 true、变更的编辑距离及其编辑模式。如果人工保留了 Lingo.dev 的文本,除空白外没有其他变化,该变更会返回不适用(“人工保留了 Lingo.dev 的文本”)。如果上一版本并非由 Lingo.dev 写入,或没有上一版本的记录,也会返回不适用(“上一版本并非由 Lingo.dev 写入”);这包括人工的后续编辑,以及将文本还原为 Lingo.dev 翻译的操作。因此,每个 false 代表 Lingo.dev 写入的一次翻译,每个 true 代表其中一次被人工修改的翻译。编辑率等于 true 结果数除以 false 结果数:Lingo.dev 写入的 100 次翻译中有 5 次被修改,编辑率就是 5%。同样,每次 Lingo.dev 翻译的平均编辑距离,等于各次变更的距离之和除以 Lingo.dev 的版本数。
在 Crowdin 等其他来源中,Lingo.dev 不写入翻译,因此每次变更都会与上一版本比较,无论这两个版本由谁生成。
| 结果 | 含义 |
|---|---|
true | 规范化后的文本不同;在 Zendesk 和 GitHub 中,表示人工修改了 Lingo.dev 的版本。 |
false | 规范化后的文本相同,或在 Zendesk 和 GitHub 以外的来源中,字符串没有先前版本;在 Zendesk 和 GitHub 中,表示此版本由 Lingo.dev 写入。 |
| N/A | 在 Zendesk 和 GitHub 中,表示人工保留了 Lingo.dev 的文本,或上一版本并非由 Lingo.dev 写入。 |
例如,Save changes 与 Save changes 比较时视为未更改,Save changes 与 Apply changes 比较时视为已编辑。这两种结果都无法判断哪种措辞更好。
如果草稿存在,但目标字段缺失,系统会将草稿与空目标文本进行比较。将其视为已完成的人工编辑之前,请先检查事件证据。汇总整个集合时,应报告已编辑的比较数占可用草稿与目标文本比较数的比例,同时明确显示缺失的比较。
编辑距离 #
编辑距离基于未经规范化的原始文本计算 Levenshtein 距离,即将一段文本变为另一段文本所需的插入、删除和替换次数,再将该距离除以较长文本的长度,并乘以 100。
零表示文本完全相同,数值越高,表示文本变化越多。两个空字符串的结果为零,没有先前版本的字符串也为零。与编辑率一样,缺失的目标文本视为空文本。
系统比较的是 UTF-16 代码单元,而不是词语或用户感知的字符。计算时会跳过两段文本相同的开头和结尾;如果剩余差异部分仍会产生超过约 32 亿个字符对,例如两段各有 57,000 个字符且互不相关的文本,则返回不适用,原因为“文本太长,无法比较”。即使编辑率将这对文本判定为未更改,空白仍可能增加编辑距离。同样是一个代码单元的变化,在短字符串中所占的百分比也高于在长字符串中所占的百分比。
结合使用这两项编辑测量,可以区分频繁的小幅修改和偶尔的大幅重写。在 Zendesk 和 GitHub 以外的来源中,请先核实比较的配对:上一版本可能是先前的一次编辑,而不是交付的翻译。这两项测量都无法说明纠正了多少错误、花费了多少时间,或提升了多少质量。
汇总编辑距离时,请注明计算方法。对每对文本的百分比取平均值,会赋予各对文本相同的权重;将原始距离总和除以比较长度总和,则会赋予较长文本更高的权重。单个事件的结果并不决定采用哪种公式。
术语表遵循度 #
术语表遵循度依据评估运行时关联到本地化引擎的术语,检查源文本和目标文本。它需要源文本、目标文本和本地化引擎标识,并通过不区分大小写的子字符串匹配,筛选出目标语言区域匹配、且源术语出现在源文本中的已关联术语。
评判模型会评估每个提供的术语。其指令允许自定义译法进行自然的语法屈折变化,要求不可翻译的术语保持原样,允许在上下文提示明显不适用时采用常规译法,并接受同一术语的多个冲突条目中的任意一个。因此,高分并不意味着相互冲突的术语表定义是合理的做法。
分数计算如下:
returned findings marked applied / all returned term findings × 100这里统计的是返回的判定,而不是术语的每次出现,也不是组织术语表中的每个条目。遗漏的术语会纳入说明。如果评判模型没有返回任何判定,即使评估已完成,结果也没有确定的分数。
缺少必填字段、没有匹配的本地化引擎或已关联术语,以及未从源文本中选出术语,都可能在评判模型运行前返回 N/A。请查看具体原因。确实不相关的术语无需评判;但如果一条消息本应包含术语证据,却未提供,仍然存在证据缺口。
无论是处理实时事件还是回填历史数据,这项测量都会读取当前的指导信息,而不会重建生成翻译时使用的术语表。请求会显示源文本批次和模型尝试记录,但不提供提示词或术语表的完整快照。比较历史事件的评估结果之前,请保存提交的上下文和相关术语定义,再使用 术语表处理已接受的术语变更。
规则遵循度 #
规则遵循度使用源文本、目标文本、本地化引擎标识,以及当前已关联且适用于目标语言区域的规则。评判模型会为每条提供的规则返回一个判定:已遵循、未遵循,或在规则不适用时返回 null。
分数计算如下:
returned findings marked followed / returned non-null rule findings × 100值为 null 的规则判定不计入分数。如果所有返回的判定都为 null,评判模型可以完成评估,但不提供总分。缺少源文本、目标文本或本地化引擎证据,则可能导致评判模型无法运行。这两种情况都可能显示为 N/A,因此请检查原因和可用的执行证据。
修改翻译之前,请先阅读未遵循的规则及其所指的词语。含糊或相互矛盾的规则可能需要在 规则中澄清。与术语表遵循度一样,历史事件评估使用当前已关联的指导信息,而不是生成翻译时的快照。
编辑模式 #
编辑模式分析要求模型对草稿与目标文本之间的变更进行分类。一次比较可以归入多个类别:
| 标签 | 描述的变更 |
|---|---|
register | 正式程度或礼貌程度。 |
word_choice | 含义相同,措辞不同。 |
terminology | 产品或领域术语。 |
reordering | 词语或分句的顺序。 |
grammar | 语法一致性、格、时态或其他语法。 |
punctuation | 标点或空格。 |
addition | 补充草稿遗漏的含义。 |
omission | 移除草稿增添的含义。 |
mistranslation | 对含义的解读发生变化。 |
formatting | 占位符、标记、大小写或数字。 |
分类器会跳过没有先前版本的字符串,以及空白规范化后相同的文本。标签描述的是推测的变更类型,而不是经过独立确认的缺陷或节省的时间。
当前的结果列表和详情读取流程只返回布尔值和数值类型的结果。虽然详情接口约定中包含用于结构化数据的 answer 字段,但这些流程目前不会返回已存储的 JSON 编辑模式行。请使用可访问的编辑比较和经检查的文本,而不要期待通过这些操作导出分类数据。
用量与解读 #
编辑率和编辑距离无需产生 LLM 费用即可计算结果。成功完成的测量活动会单独核算用量,因此,模型成本为零并不意味着测量免费。成本说明核算边界;结果说明 null 结果和覆盖情况。