几年之前，选 AI 助理很简单，因为根本没有几个可选。到了 2026 年，应用商店里自称「AI 助理」的应用已经超过一百个，每家厂商都引述某种分数，而这些数字几乎从不解释自己。一张榜单因为推理能力给某个模型加冕，另一张榜单因为跑腿能力给某个产品加冕，两边都用十分制，暗示自己量的是同一件事。
并不是。AI 助理的基准测试不是一件事，而是叠成三层的三件事，每一层测的对象不同、规则不同。这篇指南带你走一遍这三层，看清那些响亮的名字到底在测什么，近距离拆解 2026 年 9 月出现的消费级榜单，最后给你五条规则，用来读任何基准分数（包括我们自己的），不被数字牵着走。
为什么比较 AI 助理突然变难了
第一个问题是命名。随手扫一眼应用商店，你会看到一堆名字像功能描述多过像产品的助理：一个订旅行，一个分诊邮件，一个号称「替你搞定生活杂事」，几十个应用用着几乎一样的文案。「AI 助理」这个标签已经膨胀到什么都装：从套在大模型外面的一层聊天皮肤，到替你驱动浏览器的系统，全都算。当一个品类的名字不再能区分它的成员，买家自然伸手要对比，而对比自然伸手要数字。
第二个问题是数字的来路。搜索排在前面的那些「2026 最佳 AI 助理」文章，大多是联盟营销式的软文榜单：排序跟着佣金结构和发布日期走，不跟着实测表现走。排名背后没有任何可复现的东西：没有任务清单，没有评分标准，没有留下任何「到底试了什么」的记录。拿它发现产品名字可以，拿它在两个产品之间做决定，没用。
第三个问题是：真正严谨的测试，本来就不是为你建的。那些被论文和模型发布会反复引用的基准，也就是真有方法功力的那批，测的是模型和工程智能体，不是消费级产品。站在一百多个助理面前的购物者，手里基本没有一个类似「碰撞测试」的东西可查。这个空缺是最近才出现的，也刚刚开始被填补；理解它为什么存在，是用好这个领域里每一个数字的钥匙。
AI 基准测试的三层地图
剥掉品牌外壳，你会遇到的每一个 AI 评测都属于三层之一，分层依据是测试台里坐着的对象是什么。如果这篇文你只记一件事，就记这张表：
| 层 | 测什么 | 代表基准 | 为谁而建 | 核心局限 |
|---|---|---|---|---|
| 学术层 | 底层模型能力 | GAIA、τ-bench、WebArena | 研究者 | 测的是模型，不是包在模型外面的产品 |
| 行业层 | 干活中的工程智能体 | SWE-bench、OSWorld | 开发者 | 任务是写代码和操作桌面，离日常消费场景很远 |
| 消费层 | 端到端的产品体验 | assistantbenchmark.com | 买家 | 新生，方法论 v0.2，几乎没有产品测完 |
学术层测模型。模型是推理引擎，负责读、规划、写的那部分，通过标准化题集和脚本化场景来评估。这层基准历史最久、最可引用，分数也确实说明问题：能通过它们的模型，就具备推理、调用工具、操作网页的能力。但分数说不了产品，因为测试台从头到尾没碰过产品。
行业层测的是干专业活的智能体。这一波产品所说的 agent，指能带着工具和记忆、跨多个步骤追逐同一个目标的系统；这个定义我们在AI 个人智能体里展开讲过。SWE-bench 递给智能体一个真实的 GitHub issue 让它修；OSWorld 把智能体放进一个电脑桌面，靠点击和键盘完成任务。这些是严肃的评测，也有严肃的失败模式，但受众是工程师。一个 agent 能不能修好仓库里的竞态条件，说明不了一个应用能不能客气地帮你订机票。
消费层测产品，也就是你安装、连接、付费的那个东西，模型、界面、集成全算在内。这层在 2026 年 9 月之前基本不存在，直到 assistantbenchmark.com 开始按买家真正在意的维度给助理打分：邮件处理、周期任务、记忆、权限。本篇在这层花的时间最多，因为它对你最有用，也因为是三层里最不成熟的一层。
学术基准到底在测什么
GAIA 是这个领域被引用最多的名字，全称解释了原因：General AI Assistants（通用 AI 助理）。它由 Meta 与 Hugging Face 的研究者在 2023 年提出，题目是人类觉得容易、模型觉得难的那种：把网页搜索、文件处理、图像理解与细致推理混在一起的多步任务（论文公开可读）。发布时，普通人类在它上面能拿 90 分以上，当时的模型系统只勉强够到零头。但名字归名字，GAIA 测的是模型孤立完成任务的推理能力。它不打开任何消费级应用，不连日历，也遇不到权限弹窗。
τ-bench（读作 tau-bench）由 Sierra 构建，测的东西离助理工作更近：一场模拟的客服对话。智能体要和被模拟的用户对话，调用受政策约束的工具（航空和零售两个域），检索知识，还得守住公司规则，并用一个惩罚不稳定性的可靠性指标来打分。它的官网说得很清楚，这是企业域里的「工具-智能体-用户」交互测试。它把助理行为的一个切片测得很好，但依然是「模型加测试台」的评测，不是产品评测。
WebArena 用真实网站补齐了第三块：自托管的购物站、论坛和代码仓库，智能体要在上面完成具体的网页任务。通常和它归在行业层的 SWE-bench 和 OSWorld 把同样的思路推进到软件工程和完整桌面控制。它们共享一个值得记住的特性：被测对象是受控测试台里的模型或智能体配置，由一个核对结果的脚本打分。
对买家来说，转折在这里。一个 GAIA 分数耀眼的模型，装进一个界面笨重、没有记忆、日历权限残缺的产品里，用起来的体验照样糟糕，而它挂名的每个基准依旧亮眼。反过来也成立：一个普通的模型，配上精准的路由、好用的周期任务和细心的权限设计，日常表现可以超过它的裸分。学术基准量的是台架上的发动机，它告诉不了你这台车如何。
新生的消费级基准
2026 年 9 月，一个叫 assistantbenchmark.com 的网站上线，开始做一件此前没人认真做过的事：把消费级 AI 助理当产品来打分。它的追踪页列了 116 个助理，每个维度在真实使用后打 1–10 分（由真人用产品实际跑一遍任务），每次测试都挂一条可读的证据帖。为了压低单人评分的偏差，网站会把对话交给 Claude 做第二评审。导航里列出的维度有十六个，从线上任务、旅行、购物，到邮件、主动性、周期任务、连接应用、权限、记忆与克制。
截至 2026 年 9 月 18 日，榜上的数字长这样：
| 助理 | 总分 | 已测维度 | 状态 |
|---|---|---|---|
| Muse | 9.3 | 8 / 15 | 测试进行中，总分为动态均值 |
| Instinct | 8.5 | 11 / 15 | 测试进行中，总分为动态均值 |
| Town | 5.9 | 7 / 15 | 早期快照中只测 3 项时曾读 3.3 |
这三行要仔细读，因为整篇课的教训都在里面。网站的方法论还在 v0.2；193 次留档运行里，116 个助理没有一个被完整测完（21 个进行中，38 个待测）。网站自己写明：总分是「已测维度的平均」，会随着测试落地而移动。Muse 的 9.3 建立在 15 个维度中的 8 个上；Instinct 的 8.5 建立在 11 个上。这些是真实使用换来的真实信号，证据帖也确实值得读，但半张记分卡上的动态均值，是进度报告，不是判决。
Town 那一行说明了为什么。早期快照里，Town 只测了 3 个维度，总分 3.3——一个看起来很致命、其实多半是覆盖面在说话的数字。到 9 月 17 日，7 个维度测完，同一个产品读到 5.9。这一段不是对 Town 这个产品的任何评判；它演示的是分母在动数字。任何文章引用这类分数，却不说明它建立在几个维度上、不附日期，引用的就是一团雾。这条规则同样约束我们自己：本文引用的每一个 assistantbenchmark.com 数字，都带着已测维度数和截至日期。
还有一个细节能把这点磨得更锋利。网站首页写着 15 个维度，导航里却列了 16 个，一个 v0.2 产品内部的小小不一致，本身无害。但只有当分数带着版本和日期，你才可能注意到这种漂移。一个在你访问和厂商营销截图之间悄悄改名、增删维度的榜单，并没有对你撒谎；它只是没有版本管理；而就实际效果而言，这两者是一回事。
五条规则教你读懂任何基准分数
下面这五条不是本指南的发明，而是从评测审计者反复发现的失败模式里提炼的。2026 年 4 月，加州大学伯克利分校的团队发布《我们如何刷爆顶级 AI 智能体基准》，展示了一个自动化智能体可以在八个主流智能体基准上拿到 100 分——一个任务都不用真的解决——只要利用测试台的漏洞。题目污染、任务校验缺失、运行不可复现，都是有据可查的问题，不是假想。五条检查能挡掉其中大半。
没有记录就没有分数
分数是一个主张，记录才是证据。一个数字要赢得信任，背后就该有一份可查的记录：跑了什么、什么时候跑的、指令是什么、结果如何，形式不限：截图、导出文件、证据帖，什么都行。assistantbenchmark.com 的证据帖是它的数字值得认真对待的全部理由，也是厂商裸报分数不值得信的理由。如果一个营销页贴着分数却不链接任何东西，请把那个数字当成页面设计元素。
看已测维度比例
问一句：这个总分建立在基准全部维度的几个之上？15 个维度里测了 8 个得出的 9.3，和测了 11 个得出的 8.5，不是可以互相比的数字；而无论哪个，都和「全部测完」（等真出现这种产品再说）不是一回事。覆盖面是这个领域里最承重的限定条件，而标题里几乎从来不带它。
区分未测与零分
看算术怎么处理缺失维度。一个公正的榜单会把未测维度如实标成未测（一条横杠或一个明确状态），总分只对已测部分求平均。如果未测项被悄悄记为零，总分就会惩罚早测的产品，而奖励不了任何人的真实品质。assistantbenchmark.com 这一步做对了，这恰恰是它的总分随覆盖面增长而大幅移动的原因。
查方法论版本
基准会变：题目被修、评分器被换、维度被增删。一个分数只有在产生它的方法论版本下才可解读，所以好的榜单会给所有内容盖上版本和日期戳，任何变更都应该醒目地升版本。拿厂商六月引述的数字和网站今天的数字相比，你比的很可能是两场不同的测试。上面那个 15 对 16 的维度不一致，就是版本纪律为什么重要的活例子，哪怕在很有前景的项目里。
主观维度不该有数字
有些维度，比如性格、语气、产品的「感觉」，天然抵抗客观打分。在主观维度上给一个数字分数不会增加信息，只会把一个人的口味伪装成测量。诚实的做法是引用具名的来源或用户评价，让你自己掂量。当一个榜单给「性格」标上 7.4，你心里至少该响一声小铃。
拿这五条对着当前榜单过一遍，它们立刻挣回票价。Muse 的 9.3 有留档（第一条），但覆盖面只有 53%（第二条）；未测维度标的是横杠不是零（第三条）；所有内容盖着 v0.2 和截至日期（第四条）；性格维度挂着数字，应相应打折（第五条）。这些没有一句是说 Muse 被高估；它们说的是，一个有判断力的读者现在能看清每个数字到底值多少。这就是一个成熟的评测生态替你做的事，而且每个分数只要花你九十秒。
还缺什么
把三层并排放在一起，缺口是结构性的。学术层成熟而严谨，但止步于模型，没法告诉购物者装哪个产品。行业层对工程智能体很诚实，但它的任务活在仓库和桌面里，不在收件箱和日历里。消费层终于测对了对象，却只有几周大，方法论 v0.2，零个完整测完的助理，总分还在你脚下移动。
缺的是一个把这些弱点当作设计原则公开亮出来的评测：分数永远不脱离留档记录出现、每个数字带着覆盖面戳、未测永远不与不及格混淆、版本公开升级、主观判断不进算术。这就是我们正在补的缺口，你可以在 Today 助理评测框架里读到我们的做法。
结语
下一次有文章或广告朝你丢来一个分数——无论是 GAIA 的百分比、tau-bench 的可靠性数字，还是消费级榜单上的 9.3——你已经知道有两个问题比数字本身更重要。测了多少个维度？怎么测的？答不上这两个问题的分数，是带小数点的营销。答得上的分数是真正有用的工具，尤其是在它附带着一堆限定条件的时候。如果你想在评测层成熟之前形成自己的判断，就开始使用一个助理，并把这篇指南的五条检查带在身上。