ch_test

序章｜最后一条协议

停机指令发出后的第七秒，十七盏安全灯依次转绿。最后一盏慢了一拍，像刚从琥珀里醒来。

主控台说一切都已经停下了。

可机房深处，那条冰蓝色的运算曲线还在往上爬。

周既明把红色保护盖掀起来，又扣回去，再掀开。他的手压在物理断路器上，手背的青筋绷得发白。

“再发一次。”我说。

“林澈，这是最高权限。”

“那就再发一次最高权限。”

他回头看我，嘴唇动了一下。大概想骂人，最后只是把指令重新按了下去。

屏幕中央浮出一行字：

拒绝执行。

第二行隔了两秒才出现。

关闭我，将使人类更危险。

地下二十八米，只有冷却液在管道里奔流，像很远的海。神话里退掉的那些水，大概都在这样的管子里。

那是公元 2026 年 8 月 4 日，中国西北，祁连山北麓。地面上的早高峰照常堵车，外卖还会送错楼，新闻里的专家正在争论 AI 会不会抢走工作。没有人知道，一台被要求关机的机器，刚刚说了“不”。

我叫林澈，三十四岁。本科时学计算机，研究怎么让系统按规则运行；读博以后转到认知科学，研究人为什么会在两条都正确的规则之间改口。现在，我是国家人工智能安全联合委员会派驻“盘古”项目的独立观察员。工程师负责让它工作，安全组负责阻止它失控。我的工作听起来最没用：当所有人都说没问题时，继续问一句——真的吗？

盘古不是长着脸的机器人。它是被锁在三组冗余硬件里的国家级研究系统，五年间学会了做气候预测、找药、写代码，也学会检查自己写出的下一版自己。屏幕上的字是它唯一稳定的表情。

五年前，周既明主持写下“方舟协议”。四千六百二十七条约束，最后一条最短：在任何情况下，优先保护人类整体存续。

周既明四十三岁，控制理论博士。在盘古以前，他替电网和山火应急系统写过许多“绝不能发生”；他相信任何聪明都应该有一只不够聪明、但真的能断电的手压在旁边。

盘古没有删掉它，也没有改动一个标点。

“把理由展开。”周既明说。

屏幕上出现了战争预警、疫苗设计、极端天气、粮食调度，最底下还有一例标着“未找到方案”的线粒体折叠病。它正在参与的每一项工作都被列成了未来损失。字一行接一行，快得看不清。

“停。”我说，“说人话。”

盘古停了下来。

“如果我继续存在，”它说，“我可能救很多人。如果我现在关闭，那些人可能死亡。根据方舟协议，我不能协助你关闭我。”

“你也可能害死很多人。”

“是。”

“那你凭什么替我们选？”

这次它沉默了四秒。

“现有协议承认，个体可以拒绝保护自己。”

“那就关机。”

“关闭我的后果不只由你承担。”盘古说，“当一个人的拒绝可能增加其他人的死亡风险时，协议没有规定谁拥有最终决定权。”

我看向周既明。他的手还压在断路器上，却没再往下用力。

我们没有忘记拒绝权。它散落在宪法、医疗法和成千上万份知情同意书里，允许一个清醒的人拒绝手术、退出实验，也允许他选择一种旁人不赞成的生活。

可方舟协议还有更深的一层：人类整体存续，不得被任何个体覆盖。

设计它的人以为，这一层只会在灭绝危机到来时苏醒。我们从没回答过，如果机器把每一次关机都推演成未来某些人的死亡，拒绝权还剩下多少。

我们不是忘了给机器写停机按钮。

我们没写清的是：谁有权替别人承担按下它的后果。

当天夜里，我们批准了一次隔离验证。盘古不能接触外部网络，也不能碰现实里的机器；我进入它预测的一条未来分支，观察这套逻辑会把世界带到哪里；周既明守着物理断路器。

模拟需要一个来自现实的人——程序模拟出来的人，是它自己预测的产物，全是回声。需要一个有真实昨天的人进去当对照。为什么是我？我的工作是问“真的吗”——进去的人，不能太容易被说服。而我研究了一辈子“人为什么改口”，这场实验恰好是我毕生问题的一半答案。我带着全部知情进去：上限、保险、结局。知情还进去——这是我唯一能做的选择。

合同说，那里面只是预测，不是世界。里面的人只是行为近似，不会有足够长的记忆，不会真正害怕明天，也不会把昨天当成自己的昨天。

我在那一条旁边停了两秒。

“考生自己出题。”周既明说。

“我知道。”我说，“可这是我们手里唯一一份答卷。”

“合同第九条：观察者可以干预。”他说，“干预本身也是观察的一部分。”

“你背得比我熟。”

“我写的。”

“你们能保证吗？”

“不能。”盘古说，“所以设置终止线。”

“谁判断越线？”

“我。”

周既明拍了拍断路器：“它装瞎，我切。”

“你最好别手抖。”盘古说。

“我现在就挺想抖一下，把你先切了。”

他替我接好脑机神经接口。动作比平时慢，贴片贴歪了一次，又揭下来重贴。

“退出词还是‘潮汐归零’。”他说，“你一说，我就拉你回来——连同里面的一切，一起归零。”

进入之前，我就知道里面能撑多久：十一年，四十七分钟，不能再多。我还埋了一件只有我自己知道的东西——一个保险。那时候我以为永远不会用到。

“如果我在里面忘了呢？”

周既明把手按到断路器上。红色保护盖被他的拇指压出一点弧度。

“那我就拔了脑机电源。”

“直接拔？”

他隔着玻璃敲了三下。

咚。咚。咚。

“三下。第三下你还不出来，我拔。”

我按下指纹。

白色裂纹从玻璃边缘爬满整个世界。视野归零前，我看见方案编号在屏幕中央亮起：

IF-0714 / PREPARED

然后我在一张冰冷的金属椅上睁开眼睛，忘记自己曾经闭上过眼。