问 ChatGPT「哪个最好」,它的首选更像一次抽签,不是一份排名。

营销公司 BusySeed 在 10 月 27 日公布的研究里,把同一个问题问两遍、比对了 172,624 对回答,覆盖 172 个品类:模型版本、联网设置、措辞都不变,可排在第一位的品牌只有 25.4% 两次一致——也就是说,四次里有三次,被它推到最前面的是另一个品牌。隔一周问和隔一个月问,差别几乎没有。
机制很直白:大模型是按概率逐字采样生成文字的,同一个问题每跑一次,浮到最前面的那个名字就可能不一样。这个顺序反映的是语料里谁出现得多、加上采样的随机,而不是对「谁更适合你」做过评估。换句话说,底下根本没有一份稳定的排名在被读出来。
二阶效应:当商家开始花钱去抢「被第一个念到」的位置,他们追的其实是一个七成是噪声的目标;而把首选当权威的人,等于把「比较」这一步,交给了一个做不了比较的程序。
最强的反方:也许变的只是措辞,被点到的那一批品牌是稳定的。这对「让它列个候选清单」成立,但这项研究量的正是第一名——而人们是照着第一名行动的。
对你意味着什么:问 AI「最好的 X 是什么」,把它的回答当成一张要去核对的候选清单,不是裁决;拿你真正在意的两三个标准,自己再比一遍。什么会推翻这个判断:如果有人用同样的设计复跑,第一名在明显多数的成对回答里都保持不变,这条判断就要修正。
所用的 WAKENEX 概念: 反馈分工:不要用一种指标替代其他问题的答案


