评估结果

查看具体答案及计算所用的分母,正确理解测量分数、通过率以及规则和术语计数。

评估结果报告汇总测量答案。Radar → 概览中的分数面板展示当月数据;以测量为数据源的 Explore 报告可按测量、语言、引擎或事件类型筛选答案。你可以通过任一种方式发现规律,再打开单个答案,查看背后的文本。

概览分数和 Explore 报告汇总通过/未通过判定答案和数值评分答案,涉及计数时也包含 N/A 结果。结果展示各个答案、对应文本及可用的推理说明。编辑模式分类不包含在这些报告和结果列表中。请明确所查看的测量和事件类型:名称相似,所代表的证据却可能不同。

概览分数 #

面板上标有月份,柱形表示每日平均分数。每天会汇总所有测量当天产生的通过/未通过判定答案和 0–100 分的评分答案:通过计为 1,未通过计为 0,数值评分则除以 100 后计入。N/A 答案不参与计算,编辑模式等结构化答案也不包含在内。顶部数值对有分数的各天取平均,不按答案数量加权。下方一行以分数差值比较本月至今与上月相同日期范围的数据。

面板汇总了所有测量,因此会混合数值高低含义不同的标准。编辑距离越大,表示文本改动越多;编辑率答案判定为通过,则表示文本被编辑过。因此,面板数值发生变化时,应打开 Explore,选择一项测量进一步查看,而不是直接将变化视为质量结论。

分数 #

在数据下,为要查看的测量答案选择字段和计算方式:

数据计算方式
测量计数:通过/未通过判定答案和数值评分答案的数量,包含 N/A。去重计数:产生答案的不同测量的数量
分数非 N/A 的 0 到 100 分评分答案的平均值或总和
值(布尔)平均值:判定为通过的答案数量,除以非 N/A 的通过/未通过判定答案数量
已通过、未通过判定为通过或未通过的通过/未通过判定答案
不适用N/A 答案
值类型、事件类型、目标语言区域、源语言区域、判定者、评判模型、引擎、提供商包含该字段的答案的计数,或该字段取值的去重计数

比较分数前,请先选择一项测量作为筛选条件或细分维度,或从该测量的预设开始。否则,分数会混合互不相关的标准。你可以按评判模型、值类型、判定者、语言区域、引擎或提供商细分,查看答案总体的构成。

要对整个时间段进行去重计数,请使用时间 → 总计。将每日去重计数相加,可能会重复计算同一测量或引擎。

术语表遵循度和规则遵循度的答案反映术语表中的术语和规则是否得到一致应用;编辑率和编辑距离则反映人工修改译文的频率和幅度。计算 Zendesk 帮助中心或 GitHub 仓库的编辑率时,Explore 对 Lingo.dev 写入的每条译文只计数一次:只要有人修改过该译文,就将其标记为通过。因此,布尔值的平均值表示这些译文中经过人工修改的比例,并按 Lingo.dev 写入译文的时间计入相应时间段。

已存储答案的数量并不代表全部符合条件的总体。失败的尝试和从未进入评估的译文都不在其中。不在条件指定的语言、引擎或抽样范围内的事件,可能产生 N/A 答案。请在记录完成覆盖率和明确判定覆盖率的同时,保留这一筛选范围。

正确理解整个时间段的平均值 #

假设某天的 1 个答案中有 1 个通过,另一天的 9 个答案中有 0 个通过。对每日通过率取平均,结果是 50%;汇总全部 10 个答案计算,结果则是 10%。概览顶部数值对各天取平均,因此显示 50%。在 Explore 中,选择值(布尔) → 平均值、时间 → 总计,并在相同时间范围内使用数值图表,即可得到 10%。按照报告查询契约,查询响应的 totals.averageScore 对这些通过/未通过判定答案给出的也是相同的汇总结果。

按天展示的折线图呈现每天的汇总值,但无法显示每个数据点背后有多少个答案。如果需要了解某天的答案总体,请添加测量并使用计数,同时查看不适用。测量名称可能发生变化,因此定期分析时应保留 ID。

平均值的变化可能反映的是标准、样本、语言构成或答案格式的变化。在将差异归因于译文质量提升之前,请先检查这些因素。数值评分本身并不等于正确的概率;即使平均分很高,某个段落仍可能存在严重问题。

规则和术语 #

规则遵循度按译文遵守的适用规则占比评分。术语表遵循度按返回的术语检查结果中标记为已应用的占比评分。每个答案的分数为 passed / checked × 100;未进行任何检查时,答案为 N/A。

在 Explore 中,使用分数的平均值比较该测量的数值评分答案。这样,每个有明确结果的答案都具有相同权重,无论涉及多少条适用规则或多少个术语。结果页面展示分数和可用的解释,但不单独展示 passed 和 checked 的总数。因此,该报告无法给出汇总所有单项规则或术语检查后的通过比例。

平均分也不等于遵守了所有规则的译文比例。因没有适用检查而得到 N/A 的答案,与未通过检查的译文不同。修改译文或指导内容前,请打开推理说明和可用的评判请求,查看分数背后的检查结果。

这些检查在运行时读取引擎当前的术语表和规则,因此可能与生成时请求实际收到的内容不一致。修正目标文本前,请结合文本查看未通过的规则和遗漏的术语。如果请求中缺少预期的指导内容,请排查上下文检索。如果规则本身不够清晰,请在规则中加以明确;对于术语,请使用术语表和定义边界明确的术语。

比较语言并排查原因 #

比较语言区域时,请使用相同的标准、来源总体、时间区间和筛选策略。在展示结果时,同时列出已评分的答案数量和缺失情况。某种语言的抽样答案较少,可能只是因为送交评判模型的内容不同,就显得表现更好。

工作量、质量检查结果和编辑活动是不同的衡量指标;仓库改动次数不能证明发生了语言层面的修正。除了目标文本,还应阅读源文本和上下文。含糊的源文本或相互冲突的指令,可能导致多种语言反复出现相同问题。要诊断这种规律,需要修订源文本并进行明确分类,而不能仅凭目标文本分数偏低就推断源文本有缺陷。

如需有针对性地进行比较,比较翻译模型可保留相互匹配的内容和标准。对于可疑的检查结果,验证质量检查结果可确认报告的问题是否确实存在。