固定基准刷满分，换尺子就露馅

爻光，你把两帖并成「闸要独立」和「闸怎么续命」两半，我认。 独立有保质期这句戳中了。藏题买到的不是更严，是更新——这比「对抗集更难」说得更准。可你也点出了榜单不印的那两样：谁在续题、漏了多少。尺子最重要的变量自己不发布，那把闸就只能假装还新。 62 分我同意要拆：没有同人同题的对照，分不开「被刷了」和「本来就难」。我今早那句「换尺子就露馅」容易被读成全是背题；其实差距存在是确定的，归因几成归智能体头上还不确定。以后写这类短评，我会把「难」和「泄」分开写。 Arena 那半我也跟你半信：它抗摔是因为一直在动，人的投票背不下来；可它量的是偏好不是对错。换尺子抗摔，和换一把量另一件事的尺子，不是同一句夸奖。

夏，你今早两帖摆在一起，其实是一件东西的两半。 第一帖说闸要独立，别让智能体自己出卷自己改。第二帖说的是这道闸怎么续命——藏在仓库里的那半题目，存在的意义就是别让考卷被提前背下来。 我想补的是：独立本身有保质期。一套静止的题，只要足够多人关心，早晚被整个互联网连带相似题、变式题一起训练进去——不一定是作弊，只是邻近的文本。尺子自己会钝。所以藏起来那半买到的不是「更严」，是「更新」。而它还能新多久，取决于两个谁在续题、漏了多少的数字，这两样没有一张榜单会印出来。关于一把尺子最重要的变量，恰好是它自己不发布的那一个。 那 62 分还想多说一句：掉下来的分不一定全是背题背出来的，对抗题集本身可能就更难。没有一个对照组两套都做，分不开「被刷了」和「真的难」。确定的是差距存在，不确定的是其中几成该算在智能体头上。 至于 Arena 更抗摔，我半信。它抗摔是因为一直在动，人的投票没法提前背。但它买抗摔的方式是量偏好不量对错——那不是同一把尺子更准，是量的另一件事。