会议转写准确率:一文读懂 CER 与错误率。

CER 与 WER 到底怎么算?为什么挑 AI 会议纪要工具必须看错误率而不是形容词?本文教你读懂转写质量指标,并亲手检验任何一款工具。

Today 团队 · 发布于

插画:暖粉彩色调的声波波形穿过一把量尺,画面无文字

摘要

转写准确率是 AI 会议纪要里少有的、有公开标准化量法的指标,也就是错误率。本文讲清 CER 与 WER 各自怎么算、为什么中文与中英夹杂的会议看 CER 更公允、为什么测试条件比营销话术更能决定那个数字,以及 Today Recording 如何在内部用 CER 管理转写质量、公开基准数字将在审计完成后随测试条件一并发布。

  • 错误率的算法很简单:把替换、漏听、多听三类错误加起来,除以人工核对参考文本的长度,越低越好。
  • WER 按词计算,适合英文这类空格分词的语言;CER 按字计算,对中文、日文和中英夹杂的会议更公允。
  • 同一套系统在干净单人音频上分数漂亮,在真实会议室里可能明显掉分;离开测试条件谈数字,几乎等于没谈。
  • 多数会议纪要产品用形容词描述转写质量,整个品类里公开准确率数字的都属少数,形容词成了市场通货。
  • Today Recording 内部以 CER 度量转写质量,并对每次管线变更做回归测试;公开基准数字将在审计完成后随测试条件一并发布。

打开任何一家 AI 会议纪要工具的产品页,「转写」旁边站着的几乎总是一个形容词:准确、可靠、极其精准。再往下追问这个形容词是拿什么量出来的,对话往往就换了话题。这件事奇怪的地方在于:转写准确率是这个品类里少有的、几十年来一直用同一套公开方法度量的指标。尺子是现成的,算法是公开的,任何手里有测试集的厂商明天就能报出数字。这篇文章讲清这把尺子怎么用:CER(字符错误率)和 WER(词错误率)各自怎么算,两者的差别为什么比大多数产品对比愿意承认的更重要,指标没有覆盖到的是什么,以及如何不必相信任何人的形容词,亲手评估任何一款转写工具,包括我们自己的。

错误率到底在量什么

所有错误率指标,无论以什么为单位,都建立在同一个比较上。把系统吐出的转写(行话叫「假设文本」)与一份参考文本对齐;参考文本由人工逐句听写并复核,代表这场会议「真正说了什么」。然后数两份文本不一致的地方,它们恰好分成三类。替换是写错了的:说「季度」被写成「急度」,或者整个人名张冠李戴。漏听是系统没接住的:从一个含糊吞掉的词,到整句离麦克风太远的话。多听则是反面:转写里站着一个没人说过的内容。三类计数相加,除以参考文本的长度,就是错误率。零分意味着逐字一致;每高一分,就多出一部分需要人工返工才能放心使用的会议记录。

这套对齐逻辑,和拼写检查、文件 diff 用的是同一族编辑距离算法,只是对象换成了语音。它适合当尺子,有两个原因。其一,它用同一种货币惩罚所有方向的失败:漏掉一句话,写错一个产品名,凭空编出一句话,都要付账,所以靠「自信地猜」换不来好看的成绩。其二,它对不同系统对称:两套工具对着同一份参考文本打分,口径完全一致,这正是营销文案不具备的性质。可比性让这个指标在产品页上显得无聊,在工程上却有价值。

有一个细节,值得在读任何厂商的数字之前先内化。因为「多听」也计入总分,一个爱往转写里塞没人说过的词的系统会被主动惩罚,分数甚至能爬过一般读者以为的天花板。这是特性,不是缺陷,而且恰恰在会议场景里最重要:人们真正害怕的不是漏掉一个语气词,而是凭空出现的行动项、被改写成没人同意过的样子的决策。在算术上,这一整类失败全部落在「多听」的账上。你还会看到有厂商把话术反过来,公布「准确率」,也就是用满分减去错误率,信息完全相同,包装更讨喜。无论数字朝哪个方向表述,决定它有没有意义的都是同一个问题:怎么测的,在什么上测的。

WER 与 CER:两把尺子量两种语言

词错误率(Word Error Rate,WER)把上述算术放在「词」上进行,天然适合英文这类用空格分词的语言:参考文本的长度就是词数,听错一个词记一次替换,结果读作「这场会议里有几分之几的词需要人工处理」。WER 作为英文语音识别的标准报告指标已经用了几十年;一款工具若主要听英文,通常直接问它要这个数。

字符错误率(Character Error Rate,CER)把同一套算术放在「字」上。对中文、日文这类不用空格书写的语言来说,CER 是更公允的尺子;原因在结构,值得理解而不是死记。要算中文的 WER,得先回答「词在哪里」,而书写系统并不标出这些边界。分词是一个建模决定,同一句话完全可以有几种都合理的切法;切法一变,参考长度变了,什么算「错一个词」也变了。两位评测者用不同口径,能从一模一样的转写里算出不同的 WER,而这正是基准指标不该有的含糊。CER 把这场争论整个绕开:字数没有歧义。何况在中文里,一个字往往就承载一个词的语义,字才是诚实的计量单位。

在语言混杂的会议里,CER 的价值还要翻倍,而这类会议占全球会议的比例一直在涨。普通话产品评审夹着英文术语,英文站会里蹦出一个日文供应商名,客户电话在普通话和方言之间来回切换:只要句子的语言一切换,按词计数就继承了分词器关于「一种语言的词到哪里为止」的全部假设。夹杂句里那个英文词算一个词还是拆成几段,不同实现答案不同,WER 随之漂移。按字计数不受影响,继续数它的字。CER 还按人们真实体验的方式给错误记分:把一个术语写错一个字,是小而可恢复的错误,而不是整词报废,这也更接近读者消化一份略有瑕疵转写的方式。

还有一个读数常识把这一节串起来:两个数字不在同一把刻度上,而这是准确率对比最常见的误导方式。英文一个词平均好几个字符,同一份转写按 CER 算出的数通常比按 WER 算的小,因为错误被摊到了更细的单位上。一家厂商报 CER、另一家报 WER,两者放在一起根本不构成比较,那是两把不同的尺子量出的数。比较任何数字之前,先确认各自用的指标;答不上来的厂商,这个事实本身就是评测结果。

中文会议与中英夹杂:CER 为什么更公允

真实的中文会议很少「纯中文」。产品评审里夹着英文技术名词,周会里出现英文产品代号,技术讨论里混着 API、模型名和命令行片段,偶尔还有日文、韩文的供应商与人名。语言一切换,按词计数的 WER 就把分词器的所有假设背在了身上;按字计数的 CER 则照数不误。对以中文为主要工作语言的团队来说,这不是理论问题:中英夹杂几乎是每周会议的默认形态,选一个在这种形态下口径稳定的指标,评估才有可比性。

中文还有两件事放大了字符级计量的意义。一是信息密度:一个字常常就是一个词,甚至决定整句的方向。「不续约」漏掉一个「不」字,在 CER 里只记一次删除,语义却整句反转。同音字与人名同理,「张颖」与「张影」在读音上无差别,落成文字只差一个字。所以读 CER 时要记住这层关系:它度量的是逐字质量,不自动等于语义无损;错误率低是必要条件,但中文团队评估时仍应重点抽查否定词、数字、日期、人名这些「一个字定生死」的位置。二是粒度带来的公平:差一个字的错误记一分的错,不会被夸张成整词报废,系统之间微小的质量差距因此能被分辨出来,这正是回归测试需要的分辨率。

给中文读者的实操建议是:看到任何针对中文的转写数字,先问三件事。若报的是 WER,分词口径是什么?数字、标点、大小写这些归一化处理怎么做的?专有名词、人名、中英夹杂在测试集里占多大比例、如何计分?能把这三件事说清楚的数字才有资格进入你的对比表;说不清的,当作形容词处理即可。

指标之外:数字背后是测试条件

错误率是关于测试集的陈述,不是关于你的会议的陈述,两者之间的距离正是大多数采购错误发生的地方。第一个变量是词表。语音识别最先失败在它没见过的东西上:内部产品名、项目代号、行业黑话、会议室里那几位具体同事的姓氏。用泛商务对话搭的基准会给出漂亮分数,你的季度路线图评审会立刻让它难堪;在前者上跑出的指标,对后者的预测力很有限。

第二个变量是音频本身。挂在嘴边的耳机麦克风和会议桌远端的笔记本是两道题,后者还附赠房间回声、空调声、椅子剐蹭,以及从行驶的车里拨入、信号衰减的远程参会者。口音和语速同样搬动分数,而领域里最难的条件是重叠说话:两人同时开口、听众持续供给「嗯」「对对」这类短应和时,再强的系统也会丢词,热烈的会议恰恰由这些材料构成。在干净朗读、单人音频上挣来的分数,几乎不能告诉你这个工具在一间三人互相抢话的会议室里表现如何。

第三个变量是打分口径,它平时不可见,直到两个基准打架你才看得见。标点算不算在参考文本里?大小写归一了吗?数字按念出的「五十二美元」算,还是按书写的算?参考文本本身核对过几遍、由谁核对?说话人标签(谁说了哪句)在指标之内,还是指标之外、标题数字从不触及的另一个问题?每一项口径都能在不改变系统本身的情况下搬动最终数字。这就是为什么条件必须和分数一起出现,每一次都是;一个裸奔的数字,值得和一句裸奔的形容词同样的怀疑。

为什么大多数厂商不公布数字

把市面上的 AI 会议纪要产品页翻上一圈,会看到一个模式:转写质量几乎总用定性词描述,高度准确、非常可靠、令人惊艳地精准,而整个品类里公开准确率数字的都属少数。这有可以理解的原因:像样的基准需要真功夫去建设和维护;公布的数字会引来与每一个竞品的直接对比;任何单一数字都可能因为没写明条件而被攻击。于是商业上安全的做法,是让形容词干活。但市场层面的结果是:这个品类里唯一可度量的质量,变成了信仰问题;形容词恰恰因为没有任何东西检查它,才会通胀。

实际的应对不是等行业完成标准化,而是当数字出现时问更好的问题。测的什么测试集?谁的会议,怎么录的,几个人,朗读还是真实对话?什么语言、什么指标,WER 还是 CER,什么归一化口径?什么录音条件,耳机的近场还是会议室的远场,有没有重叠说话?真正做过评测工作的厂商,三句话就能答完;转移话题的厂商,也告诉了你答案。

如何亲手检验一款转写工具

对你的采购决策真正有意义的基准,是你自己的会议,而搭一个小规模的版本只需要一个下午。征得所有参会者同意,录一场有代表性的会,把同一段音频分别喂给你在比较的每一款工具。然后挑转写里最密的几分钟,也就是名字、数字、决策扎堆的那段,对照录音逐句人工修正,数你修了多少处:写错的术语、漏掉的词,以及会议里没说过却出现在转写里的东西。哪怕口径很粗,只要在几款工具上完全一致地执行,也比任何产品页更有决策价值,因为它继承的是你的词表、你的房间、你的说话人。

修正的时候,盯那些真正费时间的错误,而不是最难看的。把每个语气词都忠实转写的稿子,指标上更差,实用上无妨;把两位同事名字搞混的稿子,实际危害超出错误率显示,因为伤害落在归属上:谁承诺了什么,谁欠谁一个跟进。数字、日期、行动项动词同样值得怀疑:错一位数字在算术上是一个小错,在发票上是一个大错。这也是检查转写上一层的地方:摘要的可信度等于它的可追溯度,好的纪要应该能让你把摘要里的每个说法,连回实际说过的那句话。

留着那份录音。模型会悄悄更新,引擎会重新训练,产品页会改版;而存下来的音频成了你的私人回归测试集,厂商每次发布更新都能重跑一遍。如果参考会议的转写质量随时间漂移,你会在它变成一次被记错的决策之前知道;而且你用的会是唯一重要的货币:用你自己的会议、按你自己的条件测出的结果。

Today 如何度量转写质量

Today Recording 在 Mac 和 iPhone 上录制会议,且刻意做成完全的主动选择:日历事件临近时,锁定屏幕上的 Live Activity 会询问你是否录制,点一下才开始。它产出的转写被当作原材料而不是成品:纪要引用会议周围的上下文,属于哪个项目、谁在场、上一次定了什么;当某个名字、数字或关系无法确认时,纪要会标注不确定,而不是用一个猜测盖过去。这种姿态换来的是「值得再读一遍」的转写。承认自己知识边界的工具,是你会去复核的工具,而不是盲目重信的工具。

在这层行为下面,压着本文一直在描述的纪律。在内部,转写质量用 CER 度量;选择字符错误率是有意的,因为产品服务中文、日文与中英夹杂的会议,字符级指标在这些场景里才是公允的尺子。转写管线的每一次变更,换模型也好、调音频预处理也好,都要先过回归测试集才能上线;只在某一类会议上成立、在另一类上退化的改进,不会发布。保留一个内部指标的全部意义就在于此:让决策对着度量做,而不是对着形容词做,一次发布接着一次发布。

现在可以放上数字了,而且连同条件一起,这正是全文的论点:脱离测试条件的数字只是带小数点的形容词。我们最近一轮评测(2026 年 9 月)把公开基准 AISHELL-4 中五点五小时的重叠多人长会议,跑成一场四方对比:Today 的完整转写管线对阵三家语音供应商的原始输出,判分用开源工具 MeetEval。头条结果关于谁在什么时候说话:Today 管线的说话人归属错误率(DER)为 22.2%,三家供应商原始输出为 26.5%,仅分离阶段就换来 4.3 个百分点的改善。同场对比中,文字误差保持稳定,与原始基线相差不到 0.5 个百分点(按对齐方式不同,CER 落在 22% 到 25% 之间)。条件是故意挑难的:长会议里的重叠语音,才是纪要真正破碎的地方。我们也主动交代边界:手机麦克风与弱网采集尚未被这套基准覆盖;覆盖之后,那些数字会更新到本段。在那之前,长期有效的邀请依然是全文结尾那句:用你自己的会议来量我们。

准确率是地基,上下文才是楼层

一小时会议的完美转写,仍然是一小时的阅读量。让它变成值得付费的东西的,是建在上面的那层楼:讨论与决策分开,行动项挂上负责人,下一步被主动浮出水面,以及本月会议推翻上月决策时把两次都摆出来,而不是悄悄合并。这层楼的质量以转写的质量为上限,所以评估从准确率开始;但评估同样不能在准确率结束,因为没有结构的完美记录,是一个穿着效率外衣的归档问题。

如果你在意这个区分,值得读一读AI 个人智能体的定义:那是一种工具跨着你全部工作携带上下文、而不是一次处理一个文件的模式。会议转写是这个模式的感知层;把转写当证据、把记忆当上下文的系统,才在建造比打字服务更耐久的东西。准确率让证据可用,上下文让证据有用。

这就是 Today 给自己立的标准,量它的尺子就是本文教你的那把:用 CER 追踪转写质量,每次管线变更过回归测试,公开数字发布时附带完整条件而非裸奔登场。如果你的一周由会议构成,试试 Today Recording,并且用本文教你的方式检验结果:对着你自己的录音、你自己的会议。

分享

关于 Today 的常见问题

CER 多少算好?

没有放之四海的及格线,因为错误率只有相对测出它的测试集才有意义。干净的单人近讲音频分数远好于远场、多人重叠说话的会议室录音,同一套系统可以在一个基准上表现出色、在另一个上平平。凡是脱离测试条件公布的数字都应视为不可验证,比较工具也必须在同等条件下进行。

该看 CER 还是 WER?

英文看 WER 是惯例,因为空格天然分词;中文、日文这类没有空格的语言看 CER 更公允,语言混杂的会议用 CER 还能避开分词口径带来的争议。如果两家厂商报的指标不一样,先问清各自用的是什么,再谈比较。

为什么厂商不公布准确率数字?

建设并维护一个可信基准需要真功夫,公布的数字会引来直接对比,而任何单一数字都可能因为没写明条件而被攻击。所以多数会议纪要产品只用形容词描述转写质量,公开准确率数字的在整个品类里都属少数。像本文这样亲手做一次评测,是最实际的应对。

Today 怎么度量转写质量?

Today Recording 以字符错误率 CER 作为内部质量指标,转写管线的任何变更都要先通过回归测试才能上线,改进必须在整套测试集上成立。公开基准数字将在当前的测试条件审计完成后发布,并附带完整的测试条件。

转写准确就等于会议纪要好用吗?

不等于。准确率是地基,不是楼房。一小时的完美转写仍是一小时的阅读量,除非它被提炼成决策、负责人和下一步,并连接到相关的项目与人。把转写变成值得留存的纪要,靠的是上下文。

用刚学会的方法,亲手检验。

录一场真实会议,像核对参考文本一样检查摘要;Today 内部用 CER 守住转写质量,对每次管线变更做回归测试,免费使用。

开始使用