--- title: "平均分涨了，一项真本事却被刻意调低了。" url: https://wakenex.com/articles/the-average-went-up-one-real-skill-went-down-on-purpose/ language: zh-CN type: article section: "系统研究" published: 2026-10-24T22:47:07+07:00 author: "WAKENEX" id: "article:the-average-went-up-one-real-skill-went-down-on-purpose" x_post: https://x.com/AAwakened32198/status/2114020873460191474 alternate_language: https://wakenex.com/articles/the-average-went-up-one-real-skill-went-down-on-purpose/index.md license: "© WAKENEX。可引用与摘要，请注明出处并附原文链接。" cite_as: "WAKENEX. \"The Average Went Up. One Real Skill Went Down on Purpose.\" wakenex.com, 2026-10-24. https://wakenex.com/articles/the-average-went-up-one-real-skill-went-down-on-purpose/" --- # 平均分涨了，一项真本事却被刻意调低了。 > Kimi K3.1 Pro 本周在一个综合『智能』指数上跳涨了 11.5 分。读懂一个平均值能掩盖什么——又不能掩盖什么。 **一句话判断：** 综合指数的上涨，可能掩盖了一项被刻意削弱的能力。 **WAKENEX 概念：** [能力不能由结果单独证明](https://wakenex.com/concepts/results-dont-prove-capability/) ![一只大仪表的指针被拧到最顶端，立在聚光灯下的讲台上，而一只手在它身后悄悄把一个较小的刻度盘向下调入阴影；身后一道高大的蓝光。配文：『One number up. One real skill down.』以及中文『一个数字升，一项真本事降』。](https://wakenex.com/assets/articles/the-average-went-up-one-real-skill-went-down-on-purpose/cover-1600.jpg?v=0a879dbf6e) *图片：WAKENEX* 10 月 23 日，一家中国实验室的模型在一个广受关注的『智能指数』上跳涨了 11.5 分，排到全球第四，紧贴最强的西方系统。标题自己就写好了：差距正在缩小。但一个单一的平均值，可以靠投入算力去迎合考试而被抬高；而就在同一次训练里，这个模型还被刻意做得在一件真实工作上更差。这个组合，才是全部的功课。这个分数是真的，但它不是对这个模型的定论。它把真实的进步、一次刻意的削减、以及大量用来迎合考试的算力，全部打包进一个数字里——然后把哪部分是哪部分藏了起来。 这个模型是 Moonshot AI 的 Kimi K3.1 Pro。在 Artificial Analysis 的综合『智能指数』上，它得了 55.1 分，高于 7 月 Kimi K3 的 43.6 分，总排名第四，位列 Claude Opus 5.5（约 58）、Claude Sonnet 5.5（56）和 Muse Wonder Full（56）之后。权重承诺在 11 月 4 日开放。如果兑现，它将是可获得的得分最高的开源权重模型。你能明白这个故事为什么变成了『中国的开源模型正在逼近前沿』。这是一个干净、可排名、只有一个数字的故事，而只有一个数字的故事传得最快。 ## 把那个合理的结论，公道地讲清楚 在拆解它之前，先给默认读法应有的尊重。Artificial Analysis 是独立评测方，不是厂商。这个指数是公开的，方法论是披露的，而且这次跳涨幅度很大：十一分半不是噪声。一个读者扫一眼排行榜，得出『Kimi 进步很大，如今接近顶部』的结论，并不是在偷懒。他们做的，正是排行榜被设计出来允许他们做的事——在一个维度上比较模型，而不用去读三份技术报告。问题不在于这个数字是假的。问题在于一个单一数字能承载什么、不能承载什么。 ## 『智能指数』到底是什么 『智能指数』不是对智能的测量。它是一个平均值。一个实验室的模型被拿去跑一篮子相互独立的测试——在终端里写代码、办公文档推理、事实记忆、智能体任务完成等等——每一项得出一个分数，而指数大致就是把这些分数揉成一个数字后的均值。这个设计是一个优点：它抹平了任何单一测试的怪癖，让你一眼看到档位。但平均值天生带着一个代价。它丢掉了分布的形状。两个指数相同的模型，可以在完全不同的事情上一强一弱，而这个数字永远不会告诉你是哪些。 现在加上第二个事实，标题跳过的那个。Kimi K3.1 Pro 不是从零训练的新模型。它就是 7 月的 K3，同一个底座，经过了重得多的后训练。后训练是昂贵的预训练之后的那个阶段：用强化学习和偏好调优去塑造模型『怎么回答』，而不是它『根本上知道什么』。而这里是真正要紧的机制：后训练算力会抬高你所瞄准的那些行为的分数。如果你瞄准的行为，正是基准测试所奖励的那些，基准分数就会上去。这不是作弊，也不是空洞的：同一个过程也能让模型在真实工作上确实变强。这正是这个工具的用途。但这意味着，一个已经在三个月前发布过的底座模型在综合分上大幅跳涨，是实验室花了算力去朝考试分布做优化的有力证据。它本身并不能证明整个模型全面变聪明了——只能证明被测量的那些行为变好了。 所以同一个事件支持两种非常不同的读法。『模型变强了很多』和『实验室变得很会考试』都预示着更高的指数。单靠指数无法把它们分开。你需要第二份只有其中一个故事能解释的证据。 ![一根明亮的指数指针在一个大表盘上向上摆动，而这个表盘其实是由许多更小的仪表拼成的，其中一些是暗的](https://wakenex.com/assets/articles/the-average-went-up-one-real-skill-went-down-on-purpose/fig1-1600.jpg?v=03339d1b1d) *图片：WAKENEX* ## 破绽就在实验室自己的披露里 Moonshot 自己把第二份证据递到了我们手上，而且值得称道的是，它没有藏着。就在那次把指数抬高 11.5 分的后训练里，公司刻意从训练数据中移除了网络安全相关的材料。在它内部的漏洞利用开发测试上，移除之前的一个检查点解出了 90.5% 的任务；最终发布的模型只有 81.0%。Moonshot 给出的理由是安全：它不希望一个可以公开下载的模型去『推高进攻型网络能力的绝对前沿』，并表示发布的模型仍落后于那些已公开至少三个月的专有系统。独立报道证实，这次削减是刻意的，而网络能力如今是按设计落后于最强的西方模型。 把这两个数字并排放在一起。一个数字——综合分——涨了 11.5 分。另一个数字——一项具体的、真实的能力——被刻意下调了近十分，就在同一次训练里。这就是破绽。在同一次训练里，平均值和一项被点名的技能朝相反方向移动：综合分向上，漏洞利用分向下。一个能在真实能力被刻意压低的同时还上涨的平均值，并不是那项能力的替身——也不是任何单一能力的替身。它是一种混合，而且是实验室可以自己配比的混合。这就是最干净的证据，说明『指数排名』和『能不能做某件具体的活』是两种不同的测量，不是同一件事的两个名字。 还要注意是谁控制着两端。实验室决定训练配比——加什么、剔除什么。实验室也决定在新闻稿里放哪一个数字。而买家，是按那一个数字给模型排名的。当被测量的一方同时掌控测试的输入和结果的叙述，这个测试就会漂移到去衡量他们的投入和优先级，而不是你的任务。 ![一张数据卡，对比同一次后训练里的两个数字：综合指数在上升，而一项具体能力在下降](https://wakenex.com/assets/articles/the-average-went-up-one-real-skill-went-down-on-purpose/fig2-1600.jpg?v=9b7bf06269) *Chart: WAKENEX · Source: Artificial Analysis; Moonshot (xdev-bench-hard, vendor-stated) · as of 2026-10-23* ## 那么这个数字到底告诉了你什么 这里是诚实必须两面都讲的地方，因为这种反向读法也可能被讲过了头。Kimi 的好几项进步是真实的、经过独立测量、而且是全面的。Artificial Analysis 报告说，它基于终端的编码分数是它测过的所有模型中最高的。在一项要求很高的办公文档推理基准上，它同时胜过 Claude Opus 5.5 和最强的 GPT 系统。它的幻觉率下降了约五分之一。对于做智能体编码或文档密集型工作的开发者来说，这确实是一个比 K3 更强的工具，而且价格还低了三分之一。综合分并不是纯粹的表演。 但这恰恰是重点，而不是对它的反驳。指数告诉你 Kimi 升到了第四。它没有告诉你，这次上升集中在编码和办公任务上，事实可靠性有所改善，而一项与安全相关的技能被削掉了。你只有扒开这个数字，才了解它的形状。综合分给了你在一个共享测试上的档位。它没法告诉你这个模型能不能做你的任务，还主动藏起了一个被厂商削弱的领域。一个停在『第四、接近前沿』的读者，带走的是一个正确的排名，和一张错误的图景。 这是那条经得起时间的规律，它与 Kimi 无关，也与中国无关。任何综合分数——模型排行榜、信用评分、一家公司的单一 KPI、一所学校的平均考试成绩——都是一个均值，它奖励那些为它做优化的人，并掩盖其下的分布。排名越值钱，被测量的一方就越拼命往上爬，而『排名高』和『能做你真正需要的那件事』之间的差距，就越拉越大。综合分是一张用低分辨率画的地图。用来看清地形很有用。用来找你自己家，则毫无用处。 ## 等权重开放时该怎么做 实际的做法直接从中推出。等 Kimi 的权重在 11 月 4 日开放，别根据它的指数排名去选它、或放弃它。拿你自己的活去跑它——你的代码库、你的文档、你真实的边角案例——然后读分项分数，而不是平均值。如果你的任务是智能体编码，那个很高的终端基准分数就有参考价值，你应该给它加权。如果你的任务沾上任何与安全相关的东西，综合分不只是没有参考价值，它还会把你指向错误的方向，因为厂商削掉的那一个领域，正是你在意的那一个。 把它推广到这个模型之外。当一个工具的头条是在某一个综合分数上的跳涨，把这个分数当成一个问题，而不是一个答案。问三件事。这个数字是哪些东西的平均？哪个分项才真正对应我需要做的那件活？以及，是谁同时选定了输入和叙述——他们有没有理由去动某些部分、而不动另一些？这些问题花你十分钟。而锚定在排名上，可能让你搭错地基、白费一个季度。 ![一位开发者在工作台前，拿一个模型去跑他自己具体的任务，读着一个个小的分项仪表，而头顶上一个巨大的单一排名数字在发光，却被无视](https://wakenex.com/assets/articles/the-average-went-up-one-real-skill-went-down-on-purpose/fig3-1600.jpg?v=5fc5cb11ed) *图片：WAKENEX* ## 什么会改变这个判断 一个判断，只有当你能说出什么会把它推翻时，才值得写下来。这里就是。当开源权重在 11 月 4 日发布，独立评测方——Artificial Analysis 的各项基准页面、由与这次发布毫无利害关系的人运行的第三方测试套件——将能够直接测试这个模型。如果这些重跑显示，Kimi K3.1 Pro 在指数并不特别加权的那些领域里，也大致与它 11.5 分的跳涨同步地在进步，而那次刻意的网络安全削减是唯一突出的倒退，那么综合分在这里就确实追踪到了全面能力，而『平均值掩盖了一次削减』的读法，就减弱为『平均值大体追踪到了，只有一个被披露的例外』。复核日期是 2027 年 1 月 31 日。 反过来，如果独立测试发现这些进步紧紧扎堆在指数所奖励的那些行为上，而在它忽略的领域里表现持平或下滑，那么这个读法就站得住、而且会更硬。无论哪种结果，该用的检验都和你该用在这个模型本身上的那一个一样：别信那个平均值。去读它的各个部分。 ## 来源与说明 - [主要来源 / 科技媒体：the-decoder，《Chinese AI model Kimi K3.1 Pro is closing in on Anthropic's Claude Opus 5.5》（2026 年 10 月 23 日）](https://the-decoder.com/chinese-ai-model-kimi-k3-1-pro-is-closing-in-on-anthropics-claude-opus-5-5/) - [独立细节：Fello AI，《Kimi K3.1》（2026 年 10 月 23 日）—— Artificial Analysis 智能指数 55.1（较 K3 的 43.6 上涨 11.5），各分项分数，以及漏洞利用开发的数字（pass@3 从 90.5% 降到 81.0%）](https://felloai.com/kimi-k3-1/) - [反方 / 架构：SiliconANGLE，《Moonshot AI launches new flagship Kimi K3.1 Pro model》（2026 年 10 月 23 日）—— 胜过前沿系统的办公与编码进步；刻意移除网络安全数据](https://siliconangle.com/2026/10/23/moonshot-ai-launches-new-flagship-kim-k3-1-pro-model-with-3t-parameters/) 关于证据的说明：智能指数与若干分项分数来自独立评测方 Artificial Analysis；网络安全数字（xdev-bench-hard，pass@3）由 Moonshot 在一个内部基准上给出，尚未经独立复现。指数值在一个来源里是 55.1（+11.5），在另一个来源里是 55（+11）；两者都引用 Artificial Analysis。Claude Opus 5.5、Claude Sonnet 5.5 和 GPT 系统仅作为指数顶部的中立对照被提及。权重承诺在 2026 年 11 月 4 日开放；在已发布权重上的独立重跑，就是上面所说的那个检验。 --- 引用格式：WAKENEX. "The Average Went Up. One Real Skill Went Down on Purpose." wakenex.com, 2026-10-24. https://wakenex.com/articles/the-average-went-up-one-real-skill-went-down-on-purpose/ 网页版：https://wakenex.com/articles/the-average-went-up-one-real-skill-went-down-on-purpose/