自定义测量项

创建针对特定内容的检查,选择判定结果类型和事件范围,并测试它能否识别预期变化。

自定义测量项让你的某项内容要求足够明确,从而可以进行测试。它可以检查译文是否保留了限定条件、是否遵循指定的品牌语调要求,或是否清楚区分了两个产品概念。提示词会告诉评判模型,哪些差异需要关注,哪些差异可以接受。

本页介绍如何在 Radar → 测量项中创建测量项。要审核本地化引擎生成的译文,请选择 localization.completed 作为触发器;审核 Lingo.dev 译文介绍了如何选择引擎,以及在哪里查看判定结果。

将要求写成比较规则 #

假设源文说某项功能可能在获得批准后可用。译文即使保留了功能和批准的相关词语,也可能将这种可能性变成承诺。有效的测量项必须检查两者之间的关系,而不只是匹配术语。

针对这一要求,返回布尔值的提示词可以这样写:

提示词示例:保留确定性程度和条件

比较源文和译文中的表述。如果译文保留了源文的确定性或义务程度、相应条件及其相互关系,返回 true。允许措辞和句子结构发生自然变化。

如果可能性变成了承诺、义务发生了变化,或条件被移除或错误地关联到其他表述,返回 false。在解释中指出受影响的源文和译文措辞,并在证据充分时提出修改建议。

如果文本中没有适用的表述,或现有证据不足以进行比较,返回 null。说明具体属于哪种情况;如有证据缺失,也请指出。

这个提示词限定了一个具体问题,也提供了质疑判定结果的依据,而不是让评判模型自行制定团队的整套质量标准。

创建测量项 #

  1. 在 Radar → 测量项中,新建测量项并输入提示词。
  2. 为它起一个便于识别的名称,例如保留确定性程度和条件。
  3. 在值下,选择通过或不通过以返回布尔值,或选择 0 到 100,使用可自行定义中间数值含义的数值量表。
  4. 如果需要允许评判模型返回 N/A,请保持允许不适用开启,如示例提示词所示。关闭后,评判模型必须给出通过、不通过或评分。
  5. 选择触发器和语言。表单默认选择本地化完成事件;如果所需证据来自其他类型的事件,请更改此选项。不选择任何语言即表示涵盖所有目标语言区域。
  6. 选择创建测量项。系统会保存该定义,并启用所选事件条件。在其常规选项卡中,可以按源语言、引擎或抽样范围进一步限定该条件,也可以通过选择事件添加其他事件类型。

判定使用由平台管理的评估模型。测量项的提示词不会选择生成模型、改变本地化引擎的指导规则,也不会添加内容上传途径。请配置受支持的接入方式,为其提供证据。

了解判定结果约定 #

结果类型返回的判定结果
boolpass:true、false 或 null。
scorescore:0 到 100 之间的有限数值,或 null。

两种类型都包含可为 null 的 reasoning 和 suggestion。只有开启允许不适用时,判定结果才能为 null。null 表示评判模型无法给出所要求的判定,原因可能是不适用、存在不确定性或缺少证据。无论此设置是否开启,不符合条件筛选要求的事件都会直接标记为 N/A,不会交由评判模型判定。百分比是你所定义量表上的数值,并不自动代表译文正确的概率。

在结果历史中,布尔值或评分通过 value、valueKind 和 notApplicable 呈现。解读数值零之前,请先查看 N/A 标记。结果介绍了这种呈现方式,以及可供查看的评判模型判定过程。

测试提示词能否区分预期差异 #

保存条件后,生成一小组受支持的测试事件,或对已有事件进行限定范围的历史评估。测试应同时涵盖已知错误和可接受的译文:承诺发生变化、条件被移除、无关标签、缺少源文的情况,以及保留原意的自然改写。

将判定结果与实际文本对照查看。如果检查将可接受的改写标记为问题,请检查是哪条指令导致了误报。如果漏检了条件被移除的情况,请将要求写得更明确,并使用未参与提示词修订的示例进行测试。测量项设计指南进一步介绍了完成初始设置后的校准和报告方法。

维护定义和范围 #

自定义测量项归组织所有。你可以在常规选项卡中编辑提示词、名称、值类型和允许不适用设置;测量项的条件用于选择具体事件类型,并按语言、源语言、引擎和抽样范围进一步筛选。语言选择遵循语言区域层级:选择 fr 也会选择 fr-CA,而选择 fr-CA 不会选择 fr-FR。请参阅事件选择。

更改不通过的判定标准之前,请保存原有定义和有用的结果。历史评估使用当前定义,重新测量某个时段时会替换该时段内的判定结果,因此无法同时保留标准变更前后的结果以供比较。删除定义后,先前记录的值将失去对应的定义;如果只是想停止后续检查,关闭测量项的影响范围更小。