审核 Lingo.dev 翻译
对本地化引擎生成的翻译运行测量,选择引擎、语言和采样设置,并对照请求查看每项结果。
用于检查已收集活动的测量,同样可以用来检查 Lingo.dev 生成的翻译。每次本地化完成后,都会在 Radar 中生成一个 localization.completed 事件。针对该事件类型运行的每项测量,都会就翻译输出回答相应的问题。这些结果有助于理解生成的翻译,无需再尝试生成一次。
Lingo.dev 请求没有独立的评估器资源。审核就是 Radar → 测量中的一项测量:用于筛选请求的本地化引擎、语言对和采样设置,都在其 localization.completed 条件中配置;测量结果会与所检查的事件一同显示。
为引擎启用自动审核 #
打开本地化引擎的 AI 评估器选项卡。自动审核中有术语表遵循度和规则遵循度两个开关:前者检查引擎术语表中指定的术语,后者检查其规则集中的规则。打开开关会将引擎添加到相应的内置测量中,并启用该测量;关闭开关则会移除该引擎。测量的语言和采样设置保持不变。
当内置测量对所有引擎运行时,每个引擎的开关都处于开启状态。关闭其中一个引擎的开关后,系统会保存当前其余引擎的列表。因此,之后创建的引擎需要添加到列表后,才会接受审核。请在 Radar 中查看该内置测量的引擎选择器,确认已保存的范围。
此选项卡不包含 MQM 和自定义测量。请在 Radar 中启用 MQM,并通过自定义测量的条件选择引擎。如果您的套餐对审核按量计费,自动审核会显示按次运行计费及相应费率。
为生成的翻译编写判定标准 #
创建一项自定义测量,并选择 localization.completed 作为触发条件。设置名称和提示词,然后选择通过或不通过或 0 到 100。请明确定义每种结果的含义。对于是否保留限定条件这类要求,可以使用布尔值;如果使用百分比,则需要明确的评分尺度,以衡量部分满足要求的程度。
启用允许不适用后,请明确评判模型应在什么情况下不作判断,以及如何解释这一结果。要求与翻译无关,和要求适用于翻译但缺少证据,是两种不同的情况。即使两者都未得出明确判断,也需要不同的后续处理。
例如,源文承诺在五个工作日内交付,其中包含交付期限、工作日这一限定条件,以及交付承诺。检查这项承诺时,应说明这些关系中哪些发生了变化。仅凭数字一致,无法确认原有承诺得到了保留。
评判模型会接收事件的数据载荷。对于文档任务,载荷包含按文件分组的源文本和目标文本、语言区域对以及引擎 ID,但不包含请求级上下文字段。评判模型是由平台管理的评估模型,不一定与生成文本的模型相同。
选择要审核的翻译 #
在测量的常规选项卡中,运行对象下的 localization.completed 行用于筛选请求:
| 选择器 | 筛选对象 |
|---|---|
| 语言 | 目标语言区域。任意语言会选中所有目标语言区域。 |
| 源语言 | 源语言区域。任意源语言会选中所有源语言区域。 |
| 引擎 | 需要审核其翻译的本地化引擎。任意引擎也涵盖之后添加的引擎。 |
| 采样 | 每个事件,或符合其他筛选条件的事件中的 50%、25%、20%、10%、5% 或 1%。 |
选择保存更改以应用设置。语言区域的选择遵循事件选择中所述的层级结构:选择 fr 也会选中 fr-CA,而选择 fr-CA 不会选中 fr-FR。记录中未关联本地化引擎的请求,不满足限定引擎的条件。
采样会按比例选取匹配的请求,但不保证在小批量中选中精确数量的请求。未被采样选中,或不在所选语言或引擎范围内的请求,仍会收到 N/A 结果,其理由以“未满足条件”开头;这些请求不会计费。在报告中,请区分符合条件的请求总体与实际选中的请求。因采样而有意排除的请求不算评估失败,但在说明总体中有多少请求获得了明确结果时,仍需考虑这些未被选中的请求。
了解检查会读取哪些指导信息 #
术语表遵循度和规则遵循度会在运行时读取引擎当前的术语和规则。当事件指定了引擎时,MQM 会加入该引擎当前的品牌语调、规则和匹配的术语。这些测量都不会重建随请求记录的指导信息快照。因此,生成后修改术语,会改变后续历史评估所检查的内容。
缺少检查发现,并不能确定生成时使用了哪些指导信息。请在请求中检查源文批次和模型尝试记录,并参照上下文检索核对提交的上下文与引擎配置。
查看异步结果 #
本地化完成后,测量会进入队列。排队和评估独立于翻译执行,因此即使翻译已成功生成,也可能尚无测量结果。
Radar → 日志 → 测量会列出结果。按测量和值筛选,然后打开某条结果,查看其值、理由、建议以及发送给评判模型的请求。请核对底层事件是否对应您正在调查的任务和语言区域。结果中会区分明确结果、N/A 和未执行的情况。
针对引擎翻译的自定义测量结果,如果判定为不通过或得分较低,也可以成为本地化引擎建议的依据。结果本身不会修改翻译。
异步评估不会阻塞翻译流水线,也不会批准其输出用于发布。可选的译后编辑和人工决策需要在流水线、审核策略和 Inbox 中单独配置。
停止审核或移除测量 #
关闭引擎的开关、将引擎从条件中移除,或关闭测量,即可停止后续审核。已经进入队列的任务仍可能完成。
删除自定义测量会移除其定义和条件。已记录的结果会保留,并显示为未知测量。如果有调查依赖该测量,请在删除前将其定义与调查记录一并保存。
如果缺少结果,请先检查原始请求及其事件、测量的引擎、语言和采样设置,以及 N/A 结果的理由,再尝试重新翻译。要审核启用测量之前生成的翻译,请使用历史评估。重新生成会创建新任务,并可能选择不同的模型或指导信息;仅靠重新生成,无法精确还原最初那次尝试。