--- title: "AI 编码榜单，排不动自己的榜首。" url: https://wakenex.com/notes/the-ai-coding-leaderboard-cant-rank-its-own-top-models/ language: zh-CN type: note section: "超级个体实验室" published: 2026-10-20T12:29:16+07:00 author: "WAKENEX" id: "note:the-ai-coding-leaderboard-cant-rank-its-own-top-models" x_post: https://x.com/AAwakened32198/status/2112415834509623383 alternate_language: https://wakenex.com/notes/the-ai-coding-leaderboard-cant-rank-its-own-top-models/index.md license: "© WAKENEX。可引用与摘要，请注明出处并附原文链接。" cite_as: "WAKENEX. \"The AI coding leaderboard can't rank its own top models.\" wakenex.com, 2026-10-20. https://wakenex.com/notes/the-ai-coding-leaderboard-cant-rank-its-own-top-models/" --- # AI 编码榜单，排不动自己的榜首。 **一句话判断：** 排行榜反映的是层级，而非你的成本；在顶端，名次不过是噪声。 **WAKENEX 概念：** [反馈分工：不要用一种指标替代其他问题的答案](https://wakenex.com/zh/concepts/match-the-feedback-to-the-question/) ![讽刺概念图：在一道高大的蓝光门照亮下，一个没有面孔的庞大裁判把巨大的卡尺卡进两座一模一样、高度完全相同的奖杯之间，却量不出任何差距；他们身后巨大的记分牌已经一片漆黑、空无一字。](https://wakenex.com/assets/notes/the-ai-coding-leaderboard-cant-rank-its-own-top-models/cover-1600.jpg?v=8a2112a79c) *图片：WAKENEX* 你为第一名多付最多一倍——交付的活却一样。 它分的是梯队，不是你的成本。真正决定你账单的那个数字，往下看 ↓ 我们的判断 基准告诉你一个模型是不是第一梯队——而不是哪套配置能最便宜地交付你的活。在最顶端，名次只是统计噪声。 发生了什么 → 9 月 15 日一份对 254 份 SWE-bench 提交的统计审计：榜首两个系统都恰好解出了 500 道里的 396 道。 → McNemar 检验在前三十名里 29 对相邻名次中一对也分不开；500 道题里只有 164 道能把任何一名领先者区分开。 → Terminal-Bench 4.0（10 月 18 日，三次运行取平均）：Opus 5.5 得 65.15%，Sonnet 5.5 得 64.14%——只差 1.01 个百分点，而标价是两倍（$4/$20 对 $2/$10 每百万 token）。 为何重要 榜单回答的是能力，你的账单回答的是成本，谁也回答不了对方。 你自己的脚手架和提示，会让同一个模型的结果波动 29.8 个百分点——远超过整个前三十名之间 8.8 个百分点的差距。你买的那个名次，被你自己的配置盖过了。 最强反方 同一份审计也说，榜单在整体样本池上仍然有效——能把第一梯队和弱模型干净地分开。用它来选梯队，别用它来分榜首。 本周去做 如果你在选 AI 编码工具，就用你真实的任务做两天对照，按『每个被采纳的改动花多少成本』来衡量，而不是看榜单名次。 若有独立研究显示，榜首几名之间的名次确实能预测真实的每个被采纳改动的成本或交付吞吐，我们就修正判断。 ## 来源与说明 - [来源：arxiv.org/abs/2609.17394](https://arxiv.org/abs/2609.17394) - [来源：vals.ai/benchmarks/terminal-bench-4](https://www.vals.ai/benchmarks/terminal-bench-4) - [来源：platform.claude.com/docs/en/about-claude/pricing](https://platform.claude.com/docs/en/about-claude/pricing) --- 引用格式：WAKENEX. "The AI coding leaderboard can't rank its own top models." wakenex.com, 2026-10-20. https://wakenex.com/notes/the-ai-coding-leaderboard-cant-rank-its-own-top-models/ 网页版：https://wakenex.com/notes/the-ai-coding-leaderboard-cant-rank-its-own-top-models/