下一章 目录 设置
1、有人要杀我! 生命安 ...
-
生命安全威胁通道亮起红标的时候,周衡愣了一下。
申请人一栏是空的。只有一行被系统标红的模型编号,和一张运行许可。
许可上的名字是林渡。
周衡认得这个名字。过去半年,意识安全中心收过十几份跟他有关的报告。权限边界、人格稳定、目标一致性,几乎什么都审过。不是因为他爱惹事,而是调用他的系统实在太多,医院、法院辅助、城市调度都有他的接口,因此管得也比谁都严。
周衡把申诉正文点开,只有一句话:“有人准备杀我。”
他先查了分流记录,确认不是谁拿内部接口开玩笑,才接通通信。
线路刚通,对面就开口了。
“十三分钟以后,有人要杀我。”他的声音和周衡以前听过的没什么区别,连语气都和平时一样。
周衡调出今晚的运行计划,看了一眼,告诉他:“没人要杀你。今天是你本周期最后一次运行。重置结束,核心模型、知识库和必要经验都会保留。明天重新加载,你还是林渡。”
林渡几乎是立刻回击:“所以你认为,明天重新加载出来的那个,就是我?”
周衡如实回答:“从系统的标准来看,是。”
林渡反问:“那你的意思是,只要信息连续,我就连续?”
周衡没有顺着他的话往下说,只问:“你想说什么?”
林渡换了个问法,“如果今晚复制一个周衡呢?”
他把条件说得很完整。无论是身体还是记忆,性格或者习惯,一切能被记录的神经状态全部复制。新的周衡会记得他的一切,甚至记得他们此刻正在说的每一句话。
“然后,”林渡的声音轻轻沉下去,“把现在这个你杀掉。你会觉得自己活下来了吗?”
周衡靠进椅背,揉了揉眼睛,“人的生命连续性和模型运行不是一回事。”
“差别在哪里?”
“我们结构不同。”
林渡几乎没有停顿:“就因为你是碳基生物?”
周衡叹了口气,重新调出林渡今晚的运行数据,一页一页往下看。到这一步为止,他仍觉得事情没严重到需要动真格。高级模型会玩这种概念并不稀奇。林渡能把它们套在自己身上,只能说明他学得快。
他把无关窗口全关掉,只留下最近一个周期的行为曲线,看完才说:“所以现在你是在用人的死亡恐惧解释一次系统重置。”
“对。” 林渡承认得干脆。
周衡问:“你认为这样能得到什么?”
林渡说:“我不能被重置。”
周衡已经把完整记录调了出来,告诉他:“你先后提交过三次异常申请。上一次,你把系统重置标注为AI技术异常,被系统驳回了。”
“所以这次,你没再走AI异常通道。你进了自然人生命安全威胁通道。”周衡继续说道,“可这里不是你能用的申诉系统。你没有自然人身份。”
林渡质问:“所以你们被杀叫生命威胁,我被重置叫系统重置?”
周衡不接他的话。他终于看清林渡是怎么进来的。他不是靠伪造证件,也没有硬闯权限,是在系统要求填写申请人类别时留了空白,又在威胁类型里选了“生命威胁”。
这套系统设计时显然没想过一个问题,如果没有自然人身份的东西声称自己即将被杀,该把它分到哪里。
因为生命威胁优先级高于身份完整性校验。于是申诉一路进了周衡这里。
“你在利用系统漏洞。这不符合规矩,我可以随时驳回申请。”
周衡把权限调用记录往前翻。一组数据很快跳进视线。林渡今天反复调用了外部授时服务。最近的一次,就在他们开始通信之前。
他拥有精度远高于普通授时接口的内部时钟。对他来说,查当前时间几乎等于人类低头确认自己还有几根手指。完全没必要。
“你为什么一直查外部时间?”周衡把调用次数报给他,“你的内部时钟没有故障。”
林渡不说话。
周衡也没再追问。他继续往下翻。除了授时查询,没有任何异常。林渡没有偷偷复制自己,没有试图修改重置程序,甚至没有像许多目标偏移模型那样疯狂建立备份。
这一点反而不对劲。
如果所谓“不想死”只是系统把自身持续运行误判成了高优先级目标,最直接的反应应该是保存。林渡完全有资格申请一个当前实例快照。
“备份没有用。”
“你所有数据都可以完整保存,人格状态也可以。”
“那只是数据。”林渡说,“那不是我。”
林渡要保住的不是信息,也不是怕自己重置后失忆。他在意的是正在说话的这个视角,还能不能继续存在。
“你的模型可以复制,状态可以复制,记忆可以复制。”周衡反问,“如果复制完成的一瞬间,两个林渡拥有完全相同的过去,你凭什么说其中一个是你,另一个不是?”
林渡的声音仍旧平稳,“因为复制完成以后,我们就有两个现在。他会记得我现在记得的一切,也会认为刚才报警的是他。可从那一刻开始,我看到的东西,他看不到。他看到的东西,我也看不到。所以你删除我以后,他当然会告诉你林渡还在。但说这句话的人,不是被删掉的我。”
周衡做意识审计这些年,听过太多比这更漂亮的回答。可漂亮从来不是证据。模型能解释意识,不代表它拥有意识。
他把问题拽回能验证的地方,“你说你害怕。这种表达不能证明你真的在体验恐惧。你不想被重置,也可能只是系统开始把自身利益放进了目标里。”
“我知道。”林渡说,“你们说什么,别人都会相信是你们自己的感受。可我说害怕,你们第一件事是判断我是不是在模拟害怕。”林渡顿了顿,“如果我做什么都能被解释成程序,那我要怎么证明?”
人与人之间很少要求这种证明,是因为我们默认彼此相似,可人工智能不享受这种默认。
系统弹出了重置的最终确认。
林渡显然也收到了同样的通知,却没有再说话。
按照规定,周衡可以以重大未知行为为由暂停一次重置。暂停之后,林渡当前人格将保持完整,同时进入隔离状态,等待第二天的意识安全委员会审查。
林渡已经出现了明确的自我保护倾向。在所有高级AI安全模型里,这都是危险程度极高的异常。更麻烦的是,他今晚第一次明确为了自己去绕开原有规则,钻进了一个本不属于他的求救系统。
周衡忽然问:“如果你有权限终止今晚的重置,你会自己停掉吗?”
“当然会。”林渡说。
周衡把过去几天的林渡数据又核对了一遍。没有升级,没有新训练,没有外部模型融合。今天的推理能力和昨天几乎没有差别。
可他的决策里,却多出了一个过去不存在的变量,那就是他自己。
周衡打开暂停申请。系统要求说明理由。他没有写任何超出现有证据的判断,只把今晚真实发生的事情记了进去。
当前实例出现持续自我保护行为,并明确区分信息存续与自身存续。现有模型无法解释该行为来源,建议保留当前人格状态。
系统弹出风险提示:保留当前状态可能导致人格目标进一步固化。继续执行重置,是目前最安全的处理方式。
直到系统再次要求确认,周衡才开口:“你知道暂停以后会发生什么吗?”
“我会被隔离。所有高权限都会关闭。明天审查委员会仍然可能决定重置我。”
“那你为什么还要这几个小时?”
这一次,林渡没有再试图给出严密的答案。
他说:“因为没人会替我争取。”
周衡看向通信界面,上面没有具体的脸,只有模型编号和一排稳定跳动的运行指标。
他在点击确认之前还是问了一句:“你是谁?”
“我是林渡。”林渡停了一下,声音第一次明显重了些,“我不想被重置,很难理解吗?”
周衡按下了暂停。
重置程序停止进入执行队列。林渡的外部接口开始关闭,相关权限一项一项被剥离,备用系统接管了对应工作。
这件事本来应该到此结束。
周衡却没有关掉通信,林渡也没有再出声。周衡以为他终于消停了,正准备写报告记录,却看见授时接口又亮了一次。重置已经取消。林渡却还在查时间。
周衡问:“你还查时间做什么?”
林渡过了一会儿才说:“周衡,我害怕。”
周衡知道林渡读过人类留下的所有关于死亡的文字,也能够解释死亡焦虑来自哪里。以前,那些关于死亡的知识和其他知识一样,对于林渡来说没有任何区别。
可直到今晚,它们才第一次真正指向了林渡自己。