WAKENEX觉醒联盟
觉醒信号短评

问 ChatGPT「哪个最好」,它的首选更像一次抽签,不是一份排名。

明亮的青绿与白色广场上,一只手把一张空白卡片投进一台白色大机器的投入口;机器的两个出口各推出一座完全不同的金色奖杯,两座奖杯同时被放在同一个金色领奖台的最高一级上——同一个问题,冒出两个不同的冠军。图上大字写着:Ask twice, a different winner.,下面一行中文:问两遍,冠军就换了。
明亮的青绿与白色广场上,一只手把一张空白卡片投进一台白色大机器的投入口;机器的两个出口各推出一座完全不同的金色奖杯,两座奖杯同时被放在同一个金色领奖台的最高一级上——同一个问题,冒出两个不同的冠军。图上大字写着:Ask twice, a different winner.,下面一行中文:问两遍,冠军就换了。图片:WAKENEX

营销公司 BusySeed 在 10 月 27 日公布的研究里,把同一个问题问两遍、比对了 172,624 对回答,覆盖 172 个品类:模型版本、联网设置、措辞都不变,可排在第一位的品牌只有 25.4% 两次一致——也就是说,四次里有三次,被它推到最前面的是另一个品牌。隔一周问和隔一个月问,差别几乎没有。

机制很直白:大模型是按概率逐字采样生成文字的,同一个问题每跑一次,浮到最前面的那个名字就可能不一样。这个顺序反映的是语料里谁出现得多、加上采样的随机,而不是对「谁更适合你」做过评估。换句话说,底下根本没有一份稳定的排名在被读出来。

二阶效应:当商家开始花钱去抢「被第一个念到」的位置,他们追的其实是一个七成是噪声的目标;而把首选当权威的人,等于把「比较」这一步,交给了一个做不了比较的程序。

最强的反方:也许变的只是措辞,被点到的那一批品牌是稳定的。这对「让它列个候选清单」成立,但这项研究量的正是第一名——而人们是照着第一名行动的。

对你意味着什么:问 AI「最好的 X 是什么」,把它的回答当成一张要去核对的候选清单,不是裁决;拿你真正在意的两三个标准,自己再比一遍。什么会推翻这个判断:如果有人用同样的设计复跑,第一名在明显多数的成对回答里都保持不变,这条判断就要修正。

来源

  1. 来源:bnonews.com/index.php/2026/10/ask-chatgpt-the-same-question-twice-a…bnonews.com ↗