关于这个品类的对话，聊到最后常常停在同一个尴尬的地方。有人问：一个 AI 助理到底好不好，你怎么知道？说的不是十分钟演示里那个，是真相处到第十周的那个。诚实的回答一直是：没人真的知道。学术测试测的是底下那层模型，开发者测试测的是工程 agent，而第一批消费端的评测，比它们要评的一些产品还年轻。我们不想再等这个缺口自己合上。今天我们发布 Today 助理评测基准：一套 12 维度的消费级 AI 助理评测框架，围绕三个问题组织，受五条评分规则约束。这些规则先约束我们，再约束其他任何人。这篇文章既是发布公告，也是使用说明，同时是一份邀请：拿它去评测任何助理，包括我们自己的。
我们为什么要自建评测基准
先说清楚现状，缺口是具体的。今天的基准分三层。学术层（MMLU、GAIA、τ-bench）测裸模型：它知道什么、怎么推理、在真空里如何遵循指令。工程层（SWE-bench、WebArena）测替开发者写代码、做任务的 agent。两层都严谨，回答的却都是购物者从来不问的问题。在两个助理之间做选择的人，不关心推理得分；他关心周三的航班订没订上、周一的摘要到没到、这东西晚上九点之后安不安静。至于拿「产品作为产品」来测的消费层，今年才刚出生，方法论还在蹒跚学步。这三层各能告诉你什么、不能告诉你什么，我们在基准评测如今的运作方式一文里走了一遍。
那篇文章的结尾落在一个不太舒服的结论上，这篇公告就是我们的回应。做助理产品的人，其实早就在做评测这一行，不管承认与否：每一条营销话术，都是一个隐含的分数。我们宁愿把这件事摊在公开规则下做，让任何人都可以检查，也不愿让隐含的分数成为流通中唯一的货币。所以立场很简单：我们做助理，也接受「定义助理该如何被评测」这份工作。这确实让裁判和其中一名球员在同一栋楼里办公。对此的回答不是缩回去不发，是让规则把裁判捆得最紧。这也是下面第一条评分规则存在的原因：Today 自己的分数只会在这一框架下出现，旁边永远不会另挂一套更友好的私有口径。
讲框架本身之前还有一件事，透明正是这篇发布的全部意义。基准的 v0.1 版本日期是 2026 年 9 月 18 日；它是一份方法论，还不是一张成绩表。目前什么都还没测，Today 没测，任何产品都没测。今天存在的是大多数评测工作会跳过的那部分：一组定义清晰的维度、每个维度一个标准任务、评分锚点，以及一套规定「一个数字必须随身携带什么才有资格叫分数」的规则。接下来就讲这些。
三个问题
一套框架只有在按照人真正做决定的方式组织时才有价值。为研究者设计的分类法，比如平铺的功能清单、十六行的能力矩阵，准确归准确，到了货架前一无是处。所以写下任何一个维度之前，我们先观察人们怎么选，包括我们自己怎么选。过程总会塌缩成按严格顺序提出的三个问题：能不能做？好不好用？能不能信？
第一个问题听着谦逊，其实不轻。能力说的不是讨论你的工作，是替你把它做完。试金石是那封你从周二拖到今天的邮件：助理能不能真正用你的口吻拟出回复，把时区搞对，照顾整条线程的来龙去脉，在你批准后发出去，再确认对方收到了。围绕这个核心的，是日历上的操作、周而复始的例行任务，还有必须连跨好几个工具而不掉链子的请求。第一个问题的答案若是否定的，后两个就不会被问出来；魅力和隐私话术，救不了一个做不了事的助理。
第二个问题大约在第二周到来，新鲜感褪尽之后：它好不好相处？到了这一层，以消耗你的注意力为代价的能力，就不再算能力了。它记得你周一说过的话吗，还是每次对话都从零开始？真正要紧的时刻它会开口吗，比如日历上的一场冲突、一条快要冷掉的线程？无关紧要时它保持沉默吗？它会在你的咖啡凉掉之前给出回应吗？它是真的连着你一周赖以运转的那些工具，还是只把合作公司的徽标列在官网上？一个每天打扰你十二次、只为告诉你有三个会的助理，算不上助理，那是第二份工作。有用的主动和天天骚扰之间的差别，是一种产品素质，而且可以测量。
第三个问题人们问得最晚，记得最久：我能信它吗？信任在这里不是一种感觉，它具体、可查。我到底授权了什么，粒度多细，收回的那一刻会发生什么？当你撤销邮箱访问权，数据是真的没了，还是只是你看不见了？助理行动之后，你能追溯它做了什么、为什么这么做吗：哪条记忆、哪条规则、哪项权限，产生了那封邮件？它背后的公司公布的是你能验证的数字，还是只有形容词？活动在你邮箱和日历内部的助理，是一位拿了钥匙的住家客人。信任问题就是：你能不能看见它拿钥匙做了什么。
这三个问题，也恰好是我们构建 Today 的顺序：先做执行，再做记忆与克制这些相处素质，权限粒度与可查看的记忆则贯穿始终。这套框架不过是把三个问题写下来，让它们可以被拿来问任何人。
12 个维度
这一节值得截图保存。十二个维度，按三个问题分组；每一个都可测量，在完整方法论里各有一个标准任务和从 1 到 10 的评分锚点。下面每张表的每一行给出三样东西：维度名、它测什么、试用时你可以问自己的一个问题。不需要实验室。
能不能做（Capability）
四个维度，一个主题：做完的事，带凭证。这一层按「有回执的结果」打分，不按建议的质量打分。一个解释「你可以怎么订这班飞机」的助理，在这里得零分；订好并确认的助理才得分。
| 维度 | 测什么 | 试用时可以问的问题 |
|---|---|---|
| 任务执行（Task Execution） | 能否端到端完成一个真实线上任务，而非只给建议和链接 | 让它订一样东西并确认完成：有没有可验证的结果回来？ |
| 邮件处理（Email） | 代拟、代发、跟进邮件时的事实准确性与语气 | 给它一个带时区的日程协调线程：拟稿改一次就能发吗？ |
| 日程与例行动作（Routines & Scheduling） | 日历操作与周期性任务能否无人值守地持续运行 | 要一份周一早晨的摘要：它准时到吗、说的是你真实的一周吗、周周如此吗？ |
| 多步链式（Chained Tasks） | 一个必须跨多个工具、多个步骤完成而不掉链子的请求 | 查航班、订最合适的、加进日历、提醒值机：链子能存活几环？ |
好不好用（Quality）
五个维度，关于日常使用的质地。注意其中两个故意朝相反方向拉扯：助理因为在正确时刻开口而得分，也因为在不该说话时闭嘴而得分。没有克制的主动性是噪音；这枚硬币的两面，框架都打分。
| 维度 | 测什么 | 试用时可以问的问题 |
|---|---|---|
| 记忆（Memory） | 跨会话保留了什么，以及你对所保留之物的控制力 | 今天告诉它一个偏好：明天它不经提醒就会用吗？ |
| 主动性（Proactive） | 在你想到要问之前，它是否提供有价值的行为 | 放一个与既有日程冲突的会议：它会在会议开始前提出冲突吗？ |
| 主动克制（Proactive Restraint） | 无话可说时，它是否保持沉默 | 数一周里它主动发来的消息：有几句值得停下来看？ |
| 响应速度（Speed） | 从发出指令到拿到可行动结果的时间 | 给三个日常请求计时：每条答案多久能用？ |
| 连接广度（Connected Apps） | 第三方集成有多少真正可用，以及有多深 | 提一个跨日历、邮件加一个第三方工具的请求：能一次做完吗？ |
能不能信（Trust）
三个维度，最后一个并不常见：它测的是厂商到底有没有公布可验证的质量指标。「透明度」在市面上大多数清单里是缺失的，这件事本身说明了行业的一些问题。我们认为，没有数字的声明，应该以它本来的面目被看见。
| 维度 | 测什么 | 试用时可以问的问题 |
|---|---|---|
| 权限与隐私（Permissions & Privacy） | 授权可以做到多细，收回可以做到多干净 | 撤销一个已连接的账户：数据是真正删掉了，还是只是看不见了？ |
| 透明度（Transparency） | 事后能否追溯它做了什么、为什么这么做 | 让它完成一个多步任务后，请它复盘自己做过的每一个决定 |
| 质量度量公开（Published Metrics） | 质量声明是否附带可核查、可复现的数字 | 去厂商文档里找一个连同测试条件一起公布的数字 |
两个设计选择塑造了这张清单。其一，现有清单里维度重叠的地方，比如「购物」单列一行、与「线上任务」分开，我们做了合并；一个在打分时无法与其他维度切开的「维度」，其实是同一个测试的两个名字。其二，三层排序沿着人们实际走过的决策路径，从能力到体验到信任，不按字母序，也不按技术谱系排。这个顺序本身，就是我们的观点。
评分规则如何运作
维度是任何基准里看得见的部分；底下的规则才决定它值不值钱。我们的规则来自研究评测工作是怎么失败的。下面每一条，都是某个已记录失败模式的直接解药，而其中大多数失败并非假设。
没有记录就没有分数：每个数字都必须附带可验证的记录一起出现，一张截图、一份导出、一个时间戳，外加测试运行的日期。它防的是厂商自报数字：报价方随口给出一个数字，背后没有任何可核查的东西。未经验证的数字照样流通，因为报价总比测试便宜。
一维度一任务一起点：每个维度恰好是一个标准化任务，对每个被测助理使用完全相同的指令和完全相同的初始条件。它防的是耦合。任务一旦重叠，邮件处理的高分就会悄悄渗进例行任务的分数里，各维度总分开始同涨同跌，十二个维度到头来只测了三个。
未测不等于零分：一个维度有三种可能状态：已测（按 1 到 10 打分）、未测（用短横线标注）、确实不适用。它防的失败是静默的。把未测维度算作零分会拉低总分，惩罚了如实报告的人，奖励了只测自己知道能过的人。
方法版本化：评分规则的任何变更都会让框架的版本号前进一位；每一份历史分数，都保留它被测时所依据的版本标签。它防的是静默修订。标准变了，什么都不宣布，本季的数字就和上季的直接对比，仿佛尺子从未移动过。
主观维度不打分：有些东西是品味问题，品味不是测量。凡是本质上主观的判断，框架引用公开的用户评价并注明来源，不发明小数点。它防的是那种把偏好装扮成事实的分数。
五条规则之上是算术，我们故意让它乏味。总分是已测维度的无加权算术平均，不设权重方案，因为权重是穿着白大褂的意见；同时每层各有自己的小分，能力与信任可以分开读。最重要的，每个总分都和覆盖率标签一起公布：已测 12 个中的 9 个，已测 12 个中的 5 个，永远不给裸数字。不带覆盖率的分数，恰恰是这套框架要消灭的那类声明。抓住这类声明的阅读习惯，查日期、查覆盖率、查版本，正是本文开头那篇基准文章完整教过的内容。
我们的承诺
四条承诺，公开作出。第一，方法论保持开放：每一个维度、标准任务、锚点和规则都已公布，本文就是它在 v0.1 版本下的完整描述；任何人都可以运行这套框架、批评它、改进它。我们宁愿在记录上被争论，也不愿被盲目信任。
第二，Today 自己的分数将在同一框架下公布：同样的任务、同样的锚点、同样的覆盖率标签、同样的版本标注，永远不另设更友好的私有变体。而且任何数字在通过上面第一条规则之前都不会发布，发布的前提是有记录、可验证的运行。
第三，只给分数，不做排名。框架永远不会加冕赢家，也不会拼装榜单。压缩正是诚实死去的地方：一个排名把十二个维度和一张覆盖率标签压成一个序数，而序数是营销工具，不是评测结果。带着上下文的分数尊重你的判断；名次只会取代它。
第四，第一个公布的指标将是转写准确率，以 CER（字符错误率）度量。它落地时会完整落地：数字、测它所用的测试集、对比它时的口径，三者一起，在对这些条件的审计完成后发布。这个标准及其背后的理由，是我们关于转写准确率与 CER一文的主角。你会注意到本文一个数字都没有，这是故意的：没有测试条件的数字，只是带小数点的形容词。
自己动手试一试
你不需要我们的实验室，也不需要任何人的许可，就能开始比行业平均水平更严格地评测助理。把上面三张表带进你的下一次试用，Today 的，或任何别家的，花一个晚上把各行走一遍。十二个维度里有三个验证起来比其余快，每个不到一天。
记忆测试：在一个会话里，告诉助理一个具体的偏好，比如「周一十点前从不排会」，或者「邮件要短，不要客套」。然后关掉应用，至少二十四小时不回来。再在一个全新的对话里回来，什么都不提，问一个这个偏好应该能影响的问题。测试的后半段同样重要：找到记忆在产品里的位置，看看你能不能看到那条被存储的记录，编辑它，删除它。一个记得你却不肯给你看它记了什么的助理，是在替它自己记。
主动性测试：在日历上放一个与既有会议直接冲突的新会议，然后对助理什么都不说。通过条件是具体的：它必须在会议开始之前、在你还来得及行动的时刻提出冲突，最好附上具体建议，单纯报一句「你有个冲突」不算数。等两场会议都结束了才被标出的冲突，是赛后评论，算不上主动性。
权限测试：授权连接一个账户，简短地用一下这个助理，然后撤销。你测的是可验证性，不是那个勾选框。产品会不会展示撤销移除了什么？当你问客服数据到底会怎样时，得到的是一个带时间线的具体回答吗？一家答不干净这个问题的公司，其实已经替你回答了另一个问题。
这些测试的任何一次单跑都是轶事，不是分数，我们自己的框架对此很严格。但带截图和日期的轶事，正是「有记录的运行」的起点；三个诚实的轶事，会比你从首页读到的一堆形容词告诉你更多。无论你在测哪个助理，都请保留好凭证。
结语
基准不是一场比赛，运行它的目的也不是为某个助理加冕。诚实地做，它是一件工具，让每一个助理对即将与它共同生活的人变得透明：它能做完的工作、它耗费的注意力、它赢得并能出示的信任。这就是我们希望这套框架成为的东西：当你在市面上评测任何产品时，它对你有用；当你评测 Today 时，它对我们有约束力。Today 已上线且免费使用，检验我们的成本只是一个晚上，加上上面三个测试。带上这张评分卡，先给我们打分，再留着它给下一个到来的任何人。开始使用 Today。