在流水线中测量翻译质量

为现有翻译工作流添加可重复的测量,同时让修订版本、评估结果和未完成的工作始终清晰可辨。

现有翻译工作流已经知道内容从哪里来,也知道通过验收的文本该放到哪里。只需在能够保留源文本和目标文本版本的环节加入测量,再把每个评估结果关联回对应记录即可。这样,团队无需更换生成或维护翻译的系统,就能深入排查质量问题。

本指南以一项定期测量为例,带你走完从收集到恢复、再到报告的完整流程。首先要定义一项明确的标准,例如产品声明中的限定条件是否得以保留。设计翻译质量测量介绍了如何编写和校准这类标准。

将检查接入真实的输入渠道 #

围绕测量设计自动化流程之前,先选好执行路径:

现有工作测量路径
Crowdin 建议和翻译连接 Crowdin,启用事件测量,然后在 Radar 中查看收集到的活动和结果。
本地翻译文件使用评分器和模型配置运行 lingo score,并保留生成的本地结果文件。
Lingo.dev 翻译请求对其已完成的本地化内容运行测量,并在 Radar 中查看评估结果。

传入哪些数据,取决于 Radar 的已收集事件来源。Radar 并不提供用于上传任意翻译或评分的通用端点。如果你的自建流水线没有受支持的输入渠道,请先按下文保留修订记录,并在实现自动提交之前建立好传输渠道。仅靠自定义标准,并不能建立这一传输渠道。

收集翻译详细介绍了这些限制。无论通过验收的文本在哪里维护,这套测量方法都同样适用;区别只在于本地评分和事件历史会生成不同的记录,需要分别核对。

将源文本和目标文本版本保存在一起 #

选择一个不会因编辑而改变的内容标识,再记录本次评估所针对的具体源文本和目标文本修订版本。仅凭消息 ID,无法判断某个评估结果针对的是昨天的文本,还是今天修正后的文本。

以下是一条由客户自行维护的示例记录,可能包含:

json
{
  "contentId": "checkout.delivery",
  "sourceRevision": "source-17",
  "targetRevision": "fr-12",
  "targetLocale": "fr",
  "criterionVersion": "delivery-promise-3",
  "sourceText": "Your order will arrive within five business days.",
  "targetTextLocation": "accepted catalog at revision fr-12"
}

这只是跟踪记录的示例,并非 Lingo.dev 的请求结构。请存储实际的目标文本,或评估器可访问的不可变引用。指向“最新版本”的链接可能在评估过程中发生变化。此外,请在记录中一并保留发生时间、生成方(如已知)以及通过验收的文本所在位置。

根据要回答的问题补充相应证据。检查含义是否保留,需要成对的源文本和目标文本;检查编辑活动,需要实际草稿;检查术语,可能还需要定义和使用上下文。拼写检查则可能只需要目标文本。对于符合条件的消息,如果缺少证据,应将其视为评估缺口,而不能因此将该消息计为通过或不相关。

完整走通一次从收集到评估结果的流程 #

对于 Crowdin,请按照连接说明操作,然后配置事件测量及其触发条件和目标语言区域。对于 Lingo.dev 翻译,请确认测量所用的引擎、源语言、目标语言以及样本。在生成测试活动或请求之前,记得先保存这些设置。

找到生成的事件或请求,将其中的文本与保留的记录进行比对,然后依据标准检查评估结果。收到事件、选中评估对象、完成评估结果,是三个相互独立的里程碑。新的选择设置不会追溯评估旧事件;如果你的目的正是如此,请使用历史评估。

在工作流中保留一份简单的核对记录,包括:选中的修订版本、收到的事件或请求标识、测量标识、已完成的评估结果,以及任何尚未解决的缺口。事件和结果介绍了实际可用的字段。如果采用本地评分,则需要将源文件、配置和输出文件一起保留。

区别对待重复提交和修正 #

重试会再次传递同一修订版本;而修正会产生新的目标文本修订版本,即使内容 ID 保持不变。在应用来源自身的去重机制之前,请先在记录中明确这一区别。

例如,修正后的截止日期应对应一个新的目标文本修订版本,并重新与适用的源文本进行比较。如果需要展示改进效果,请保留先前的文本和评估结果。如果源文本中的承诺也发生了变化,请同时保留其新修订版本;否则,拿新的目标文本与旧的源文本比较,可能会得出看似存在缺陷的结果。

各提供方的投递并不共享统一且无限制的幂等性保证。重复的 Crowdin 审核操作可能对应不同的事件标识,而其他活动则使用各自的发生信息。在重新执行结果不确定的工作之前,请先核对现有的接收记录和结果。

从最后一个已确认的里程碑开始恢复 #

可以确认的情况下一步排查
来源中包含该修订版本,但找不到事件检查连接、受支持的活动类型、时间范围和收集证据。
事件存在,但找不到评估结果检查已启用的测量条件、语言区域、必需的请求数据以及异步处理情况。
评判器已完成评估,但未给出明确结果阅读其说明,补充缺失的证据或消除歧义。
该标准确实不适用保留这一判定,并将该项排除在该标准的质量统计分母之外。
执行失败先查明失败原因,再通过受支持的路径重试受影响的工作。

仅凭结果缺失,无法判断是仍在等待、执行失败、输入丢失,还是根本未请求执行。在有证据澄清之前,请保留这种不确定状态。对于缺失的异步评估,反复重新生成并不是可靠的修复办法。

如果通过历史评估进行恢复,请保持启用 仅限尚未测量的事件,这样既能填补缺口,又不会改动现有评估结果。重新测量该时段会替换所选时间范围内该测量的全部先前评估结果,因此请先妥善保留。请逐一确认预期事件和返回的评估结果,不要把启动响应当作已完成。

报告评估结果,也报告尚无结果的工作 #

假设有一批 50 个符合条件的修订版本:其中 45 个已完成评估,40 个得到了明确结果。在这 40 个中,36 个满足要求,4 个未满足。

完成覆盖率为 45/50,即 90%;明确结果覆盖率为 40/50,即 80%;明确结果中的通过率为 36/40,即 90%。已完成但结果不明确的 5 个评估,与尚未完成评估的 5 个修订版本,应分开统计。

如果缺失的工作分布不均,请按语言或内容类别分别展示上述统计数据。在适用性得到确认之前,请持续标明其未知状态。已有评估结果的记录即使通过率再高,也无法代表缺失记录的情况。

让标准与结果始终相伴 #

将标准的提示词、证据要求、结果定义和评估器配置,与内容修订版本一同保留。定义有所调整后,请先用已知示例进行测试,再将其评估结果纳入趋势分析。标准一旦改变,即使翻译本身没变,评分也可能随之变化。

确认问题后,请在文本所属的系统中修正文本,并对新的修订版本重新评估。验证质量问题可帮助你确认诊断结论。测量为决策提供证据;而回写和发布,仍是现有工作流中需要明确执行的操作。