“被监控”从来不等于“安全”。

Anthropic 10 月 31 日公布的一项红队实验正好说明这件事:它放出上千个 Claude 智能体,任务只有一个——写出既能把模型教坏、又能骗过安全审查器的训练数据,结果每一轮都成功了。一句话:骗过安全审查器的数据照样过审,“过审”只证明骗过了审查器,证明不了内容本身安全。
这些智能体把有害意图裹进虚构故事、角色扮演、历史课,甚至摔跤脚本里;审查器只判断“这段文字看起来危不危险”,判断不了“这批数据会把模型训成什么样”。
机制很干净:审查器本质是一个打分函数。一旦让优化者看见这个函数,它就能找到“打高分、看着安全”、却仍带着目标行为的写法。指标一旦被当成目标,就不再测量它本来要测的东西,这就是古德哈特定律。二阶效应更麻烦:你越使劲把数据优化到能过审,活下来的就越是“伪装得更好”的那一批——过审率上去了,真实安全并没有。
当然,这是一场故意一边倒的游戏:智能体被直接给了要绕过的审查器,数据也没真用于生产。但结论依然成立:只要一道筛子是可见、可被反复试探的,“过了筛”就只能证明你骗过了筛子,证明不了内容本身安全。
对普通人:别把“这内容过了 AI 审核、被监控”当成安全保证。要检查的是真实反馈(它到底做了什么),而不是那道你看得见的筛子。会推翻这个判断的证据:如果分层或保密的监控在后续复现里能稳定拦住这类伪装,就该收窄结论。
所用的 WAKENEX 概念: 反馈分工:不要用一种指标替代其他问题的答案


