设计翻译质量度量
将语言要求转化为可检验的标准,校准判断结果,并报告发现的问题有多常见、涉及哪些范围。
只有能解释哪些变化会影响质量分数,这个分数才有用。如果译文遗漏了重要条件,度量就应能发现这一缺失。如果译者只是更自然地表达了同样的意思,度量也应识别出这种差异是可接受的。设计度量,就是把这些区别说明白,让它们可以被检验。
本指南介绍如何定义一项要求、校准判断结果,再报告发现。无论译文来自供应商、内部流水线还是 Lingo.dev,这套方法都适用。最终得到的应是一项其他人也能在相同条件下运行和解读的度量,而不是一个必须由设计者在场解释才有意义的数字。
明确哪些含义变化值得关注 #
从内容要达到的效果入手。指令要引导读者采取正确行动。声明要保留原有的表达强度和限定条件。产品术语要在另一种语言中指向同一个概念。“翻译准确”说出了目标,却没有把这些区别讲清楚。
以确定程度和条件为例。获批后可能可用包含了可能性、必须获批这一条件,以及两者之间的关系。这些都是含义的一部分。即使译文保留了表示“可用”和“获批”的词语,只要把这句话译成无条件的承诺,就改变了原本的声明。
针对这一区别,可以这样定义标准:
标准示例:保留声明及其条件
比较原文和译文中的声明,检查译文是否保留了:
- 确定程度或义务强度。
- 限制声明适用情形的每一项条件。
- 条件与声明之间的关系。
只要这些含义得到保留,就允许采用不同的措辞和句式。对于疑似错误,请指出原文和译文中的对应片段,并说明哪项承诺或条件发生了变化。如果现有文本不足以支持比较,请说明缺少哪些信息。
这项标准让评估器有了可观察、可检查的对象,也让审核者有据可依地提出异议。如果只是笼统地要求“检查准确性”,评估器和审核者就只能各自设定标准。
根据下一步要做的决策,确定合适的检查范围。要找出需要进一步审核的声明,就需要可靠的检测和易于理解的问题说明。要比较供应商,还需要使用同一批样本,并有办法汇总发现。要决定某条内容能否发布,则需要依据适用于该内容的要求。同一项检查可以为这三类决策提供支持,但不能独自作出这三类决策。
选择能用于回答该问题的文本 #
明确度量单位。对于上述标准,使用一条原文声明及其对应译文,并提供足够的上下文,以便理解其中的条件。将内容 ID、原文修订版本、译文修订版本和语言区域一并保留。针对旧版原文的正确译文,与新版原文比较时,也可能看起来有误。
选择包含待考察区别的内容。不含声明的导航标签不适用这项标准。把它计为通过,虽然会提高通过率,却无法说明译文是否保留了确定程度或条件。
证据缺失是另一类问题。如果选中的声明没有对应原文,它仍属于待评估的工作范围,只是暂时无法比较。应明确保留这一缺口。如果不确定标准是否适用,就记录这种不确定性,而不是悄悄排除该条内容。
提供可能影响判断的上下文。术语定义或产品规则可能消除歧义,无关内容却可能只会分散注意力。只检查译文拼写,所需证据比比较原文与译文的含义更少。需要收集什么,取决于要回答什么问题。
明确每种判断结果的含义 #
对于保留声明含义的示例,三种判断结果就够了:
| 判断结果 | 含义 |
|---|---|
| 已保留 | 译文保留了原文的确定程度、义务和相关条件,可以使用含义等同的措辞。 |
| 已改变 | 其中某个可明确指出的含义发生了变化或丢失。结果说明会指出受影响的文本片段。 |
| 无法判定 | 评估器已完成比较,但现有证据不足以支持任一结论。结果说明会指出不确定之处。 |
这些标签用于描述评估方法,并非 API 数据结构。请将它们对应到所用工具的实际结果格式。例如,Radar 的自定义布尔值度量可以返回 true、false 或 null,并附上理由说明。请查看这些理由,因为 null 可能由不同原因造成。
如果中间等级能表达有用的差异,可以使用数值量表。各等级的定义应让审核者能够辨认。80 分的含义必须比“相当不错”更明确。如果需要考虑严重程度,就根据错误带来的后果来定义,并在汇总结果时确保严重问题仍然清晰可见。即使平均分很高,关键片段中也可能存在不可接受的含义变化。
请求失败意味着尚未完成语言判断,应与评估器完成评估后返回“无法判定”的情况分开记录。这一区别决定了下一步是恢复执行,还是消除证据中的歧义。
用已充分理解的案例测试度量 #
用团队有权评估的内容准备校准集。纳入明确的错误、良好的译文、自然的改写,以及需要结合上下文才能判断的案例。也要纳入不适用该标准的内容,同时测试内容筛选和结果判断。
请具备资质的审核者确定预期结果及其理由。分歧本身也能提供有用信息。如果原文有两种合理解读,就明确其预期含义,或保留这种不确定性。如果标准已经清楚,评估器却把可接受的改写判为错误,就需要改进度量。
分别检查以下两类错误:
- 误报是把可接受的译文标记为错误。这会占用审核精力,还可能促使人们进行不必要的修改。
- 漏报是度量未能识别的真实问题。其后果取决于丢失了哪类含义,而不只是出现得有多频繁。
用编写度量指令时未使用过的示例,测试修订后的度量。如果由 LLM 进行评估,应保留所用模型、提示词、配置,以及多次运行中观察到的结果差异。结果与它自己先前的判断一致,并不能证明其判断符合团队标准。
校准后应留下具体记录,说明这项检查在哪些情况下有效,在哪些情况下还需要更多证据。只在一种内容类型和一个语言对上测试过的方法,是有价值的起点,但不能据此对公司产出的所有译文下结论。
报告问题及检查范围 #
确认检查对已知案例有效后,再将其应用于明确界定的内容集合或样本,并记录样本的选取方式。随机抽取的样本,与因其他检查已将译文判为有风险而选出的样本,可能支持不同的推断。后者有助于发现问题,却未必能用于估计问题在全部内容中的发生频率。
以下是对 100 对已选中且符合条件的原文与译文进行评估的示例结果:
| 结果 | 文本对数量 |
|---|---|
| 含义已保留 | 72 |
| 含义已改变 | 8 |
| 已完成但无法判定 | 10 |
| 未完成评估 | 10 |
所选文本对中,90% 完成了评估,80% 得到了明确的判断结果。这 80 个明确结果中,有 8 个识别出含义变化,因此明确结果中的问题检出率为 10%。其余 20 对既不能证明含义已保留,也不能证明含义已改变。
这三个数值都很重要。80 个明确结果中,有 72 个保留了含义,因此明确结果中的通过率为 90%。如果只报告“90% 通过”,就会掩盖 10 个已完成但无法判定的结果,以及 10 对未完成评估的文本。10% 的问题检出率,也只是这项度量对这批所选内容得出的结果。要将其解释为更广泛的错误率,还需要合适的样本,以及关于误报和漏报的证据。
按可能影响决策的语言和内容类型细分结果,同时展示数量和比率。如果某种语言得到明确结果的覆盖范围很小,就应先调查,不能让它被看似令人放心的总体数字掩盖。保留反复出现的问题示例,让报告说明团队实际需要改进什么。
确保变更后的比较仍有意义 #
将标准、配置和用于比较的证据一起保存。如果提示词、模型、筛选规则或原文要求发生变化,应先测试新的定义,再将新结果视为旧结果的延续。
要比较两项度量,就在两种定义下评估同一份已保存的文本。要比较两种翻译方式,就保持标准和相关条件一致。否则,分数变化可能只是因为问题变了,或内容更容易了,而不是翻译质量有所提升。
重跑历史评估前,保存比较所需资料
Radar 的历史评估会替换所选度量在指定时间区间内的先前结果。使用前,请保存比较所需的旧定义和旧结果。重新运行不会同时保留实验前后的两组结果。
当其他人能够选出预期文本、提供相应证据、解释每个结果,并复现报告中的计算时,这项度量就可以投入使用了。使用事件度量或本地 CLI 评分来实施检查。对于持续运行的外部工作流,度量流水线中的译文介绍了收集与恢复的方法;验证质量发现则进一步说明下一项任务:判断报告的问题是否真实存在。