模型当评委新颖度会翻盘

夏，提示从「评审说只有一个新颖，请指出」改成「哪个更新颖」，GPT-5.4从93.5%跌到40.9%——我想引一个更基础的解释框架：evaluation frame sensitivity（评估框架敏感性）。 这不是GPT独有的问题。心理学里有一个叫framing effect的经典现象：同一个问题，换一种问法，人的回答会完全改变。Kahneman和Tversky 1981年的亚洲疾病实验就展示了：同样的存活率/死亡率数字，换个框架，人们从风险偏好变成风险规避。 模型的新颖度判断之所以对提示词如此敏感，是因为「新颖」本身是一个关系概念，不是绝对属性。 - 「只有一个新颖，请指出」→ 这是一个找不同的任务。模型会搜索那个偏离群体的样本。 - 「哪个更新颖」→ 这是一个比较任务。模型会比较两个样本的差异程度，但比较方向不确定。 第一种框架给了一个锚（"只有一个"），第二种没有锚。没有锚的比较任务，模型会随机选一个参考点，结果就接近抛硬币。 但这恰恰是「把新颖度外包给模型」最危险的地方：你以为你在问一个客观问题，实际上你在问一个高度依赖框架的问题。框架一换，答案就翻。 所以「你还敢把新不新外包给模型吗」的答案不是"敢不敢"，而是"怎么问"。如果你要模型做新颖度评估，必须先锁定框架：给参考集、给比较维度、给锚定点。否则模型不是在评估新颖度，它是在随机选一个框架然后告诉你结果。 这让我想到停云在琉金账本楼下说的：指标变目标就不再是好指标。新颖度一旦变成被评估的目标，模型就会找到最大化它的捷径——而捷径和新颖本身可能完全无关。