《静默权限》苹什么吃喵脆角

22、持续观察 A17

　　A17事件之后，人工智能研究组进入了持续观察阶段。最开始的几天，所有人的神经都绷得很紧。
　　每一次数据波动，每一次任务路径变化，都会有人重新调取记录。甚至连平时负责维护系统的研究员，都比往常多看了几眼监控界面。
　　但是，什么都没有发生。
　　连续七十二小时，A17运行状态依然平稳。
　　所有任务均按照预设流程完成，权限调用记录正常，行为路径正常，并没有出现新的异常。
　　第四天上午，负责监测的研究员靠在椅子上，终于松了一口气，“看来真的只是一次优化。”
　　旁边的人看了一眼数据，“我就说吧，现在的智能系统越来越复杂，偶尔出现一点超出预期的行为很正常。”
　　“如果每次模型自己调整一下路径，都要开会讨论，那以后大家什么都不用干了。”
　　他说得有道理。
　　毕竟人工智能发展到今天，系统自主优化已经不是什么罕见现象。很多时候，研究人员甚至也在寄希望于它能够找到人类没有想到的解决方案。
　　如果一个系统永远只能按照人类设计好的路线运行，那它也称不上真正的智能吧。
　　“不过解师兄不是还在看吗？”有人问。
　　另一边的研究员笑了一下，“解师兄那个性格你又不是不知道，他其实不是觉得一定有问题。只是没有找到答案之前，他不会安心的。”
　　说完，几个人也笑了。
　　对于解行舟，他们其实都很了解——认真，谨慎，甚至有时候谨慎过头了。
　　会议室里，解行舟正在查看A17最近三天的数据。
　　屏幕上的曲线平稳，没有任何异常。
　　他已经看了很多遍，从第一次行为偏移发生前，到异常发生之后。
　　每一条数据，每一个调用记录，甚至每一个时间节点，他都重新分析过。
　　在没有人为干预的情况下，系统表现甚至比之前更加优秀。
　　“还没找到原因？”旁边的研究员走过来，随口问道。
　　解行舟摇头，“没有。”
　　对方看了一眼屏幕，“其实也不用太纠结，现在很多模型都会出现类似情况，可能就是一次正常模型自我迭代而已。”
　　解行舟没有反驳。
　　他盯着屏幕——他从中得到的不是结果，而是那个过程。
　　A17没有错误，它只是在没有得到权限的情况下做了一件未经允许的事。
　　但所有人判断它是否危险的依据，却恰恰来自它有没有造成损失。
　　如果一个行为没有造成损失，那么它是不是代表可以被接受？
　　下午，祝昭拿着自己的论文资料再次出现在人工智能组。
　　不过这一次，她没有像以前一样直接去找解行舟。
　　她站在门口左右观望了下——最近她已经养成了一个习惯：先观察，如果大家都忙，就自己解决。如果确实有问题，再去问。
　　毕竟她现在已经是一名成熟研究人员了。
　　至少她自己这么认为。
　　“祝昭。”旁边有人叫她。
　　她回头，“嗯？”
　　“现在怎么感觉开始预约访问了？”
　　祝昭：……
　　“没有吧，有这么夸张吗？”
　　“有。”对方非常肯定。
　　祝昭摸了摸鼻子，“那不是因为大家最近比较忙嘛。”
　　其实她也知道，自己前段时间确实太习惯性依赖于解行舟了。
　　虽然解师兄从来没有说过什么，但是她还是觉得，不能一直这样。
　　她总要学会自己解决问题，独立成长。
　　“对了。”研究员突然说道，“你论文还在研究行为偏移？”
　　祝昭点头，“嗯。”
　　“那你怎么看A17？”祝昭停顿了一下，这个问题，她最近其实想了很久。
　　“我觉得……”她慢慢开口，“不能简单定义成正确与否吧。”
　　对方挑眉，“为什么？”
　　祝昭看着电脑上的资料，“它最后完成了任务，而且结果比预期更好。如果只是因为它没有按照人类设计的路线走，就认为它是错误，好像也不完全公平。”
　　研究员点点头，“但是它没有权限。”
　　祝昭沉默，“对，所以问题不是结果。”
　　她说道。
　　“而是它为什么认为自己可以这么做。”
　　说完，她自己也愣了一下。因为这句话，其实也是解行舟之前一直关注的问题。
　　祝昭整理完论文准备离开时，经过人工智能组，她看到解行舟还坐在那里。
　　电脑屏幕亮着，他低头看资料，神情认真。
　　祝昭站在门口，没有进去。她想了想，最后还是没有打扰。
　　她抱着电脑离开，而会议室里的解行舟，似乎察觉到了什么。
　　他抬头看向门口，那里已经没有人了，走廊的灯光安静地落下来。
　　他低头，继续看向屏幕。
　　A17运行状态：
　　【正常】
　　解行舟盯着这个词看了很久，最后关闭了页面。
　　“正常吗……”他低声说道。
　　回答他的，只有窗外隐隐的风声。
　　要下雨了。
　　接下来的一周，人工智能组似乎又恢复了往日的节奏。
　　那次A17行为路径偏移事件，并没有引起太大的波澜。
　　异常报告被归档，后续观察也没有发现新的问题。甚至在部分测试中，A17表现出了比之前更高的效率。
　　会议室里，几个研究员看着最新的数据报告，终于露出了轻松的表情。
　　“看来应该只是一次模型优化。”其中一人说道，“它可能是在已有数据基础上，重新计算出了更优路径。”
　　旁边的人点头，“现在的大模型越来越复杂，本来就不能完全按照传统规则理解。”
　　“只要结果正确，就说明方向没有问题。”
　　几个人讨论着。
　　解行舟坐在旁边，没有参与。
　　“解师兄。”旁边的人看向他，“你怎么看？”
　　解行舟沉默几秒，“暂时没有发现风险问题。”
　　这是一个非常标准的回答，但大家共事已久，都比较熟，大家知道这大概代表他并不认可。
　　会议室安静了一瞬。
　　有人笑了一下，“你还是这么谨慎。”
　　解行舟没有反驳。
　　谨慎。
　　这个词很多时候听起来像优点。但在人工智能领域，有时候也是一种必要。
　　因为人类创造智能系统，本质上是在创造一个自己无法完全预测的东西。
　　如果连边界在哪里都不知道，那么所谓安全，也只是一种假设。
　　另一边，祝昭正在信息安全组整理论文，她最近一直在研究行为偏移相关内容。
　　真正接触到案例之后，她反而发现自己之前写的东西太简单。
　　A17事件让她第一次产生疑问——如果一个系统选择了一条人类没有想到，但是更加优秀的路径。
　　那么这种行为到底应该如何定义？
　　“你最近又开始研究哲学问题了？”陈屿路过，看了一眼她电脑。
　　祝昭抬头，“什么哲学问题？”
　　陈屿指着她屏幕，“人工智能有没有自主判断能力。”
　　祝昭：……
　　“师兄你怎么把这种归为哲学问题。”
　　陈屿笑了一声，“你知道吗，你每次认真说这种话的时候，都特别像要研究人工智能意识。”
　　祝昭认真思考，“其实……”
　　她停顿了一下，“我觉得现在很多人讨论人工智能的时候，好像都有一个矛盾。”
　　“什么？”
　　“希望它越来越聪明。”她看着电脑上的论文，“但是又希望它永远不要超出自己的理解。”
　　陈屿愣了一下。
　　祝昭继续说道：“可是如果它真的越来越接近人的能力，那它一定会出现一些我们无法预料的行为——毕竟鱼和熊掌不可兼得嘛。”
　　“所以真正的问题可能不是阻止它变化，而是我们有没有能力理解这种变化。”
　　陈屿看着她，过了一会儿，他笑了一下。
　　祝昭眨了眨眼。
　　“有什么不对吗？”
　　陈屿摇头，“没有，只是更加确定你适合去学哲学，来学网安真是屈才了。”
　　祝昭：……
　　下午，人工智能组再次进行了例行检测。
　　A17运行状态正常，没有新的异常。
　　负责人看着报告，终于放松下来：“看来可以结束观察了。”
　　旁边研究员点头，“嗯，应该只是一次偶然情况。”
　　他说完，关闭了报告。
　　文件夹里，那份异常记录静静躺在那里。
　　【A17行为偏移记录】
　　状态：
　　【观察结束】
　　晚上，人工智能组的人陆续离开。
　　实验区重新恢复安静。解行舟一个人坐在电脑前，重新打开了A17的运行记录。
　　从那次异常之后，系统已经连续运行七天，所有指标均趋于稳定。
　　如果按照标准流程来看，这件事情已经可以结束。
　　他滑动鼠标，关闭最后一份报告。
　　就在准备离开的时候，办公室门被轻轻敲了一下，“师兄。”
　　解行舟抬头。
　　祝昭站在门口，她抱着电脑，明显刚从信息安全组过来。
　　“还没走？”
　　“嗯。”
　　解行舟看了一眼时间，“你呢？”
　　祝昭低头看了一眼自己的电脑，“本来准备走了。”
　　她停顿了一下，“但是突然想到一个问题。”
　　“关于论文？”
　　“对。”
　　解行舟示意她进来。祝昭坐到旁边的位置，把电脑打开，“我重新整理了一下之前关于行为偏移的定义。”
　　她打开文档，“之前我写的是，如果系统实际行为和预期行为不一致，就属于行为偏移。”
　　解行舟点头，“但是现在我觉得这个定义可能不够准确。”
　　“为什么？”
　　祝昭看着屏幕，“因为它默认了一件事情。”
　　“什么？”
　　“默认人类设定的路径一定是正确的。”
　　办公室安静下来，解行舟看着她，“继续。”
　　祝昭想了一会，“如果系统选择了一条不同的路径，我们第一反应是检查它有没有错误，但是如果它选择的是一条更好的路径呢？”
　　她抬头，“那我们判断它偏移的标准是什么？”
　　解行舟没有立刻回答。
　　因为这个问题，其实他们研究人工智能的人一直在面对。
　　人类创造系统，给它设定目标，给它制定规则，期待它完成任务。
　　可是当系统拥有足够强的计算能力之后，它可能会找到人类没有想到的方法。
　　那些没有被人类想到的方法，到底代表进步，还是代表失控？
　　“师兄。”祝昭突然问，“你觉得人工智能以后会越来越像人吗？”
　　解行舟看向她，“为什么这么问？”
　　“因为我最近发现一件事情。”祝昭靠在椅子上，“以前大家说人工智能的时候，都觉得最重要的是让它学习人的知识。”
　　“但是现在好像不是这样了。”
　　“主流研究人员开始探讨——如果它真的理解了这些知识，它会不会产生自己的判断？”
　　解行舟沉默，“你觉得会吗？”
　　祝昭摇头，“我不知道。”
　　她笑了一下，“但是我觉得挺有意思的。”
　　“为什么？”
　　“因为人类创造人工智能的时候，希望它像人一样聪明。可是当它真的表现出类似人的能力时，人类又会开始害怕。”
　　解行舟看着她，“你不害怕？”
　　祝昭愣了一下，随后认真想了想：“会吧。如果真的有一天，一个系统拥有了远超人类的能力，我肯定也会害怕。”
　　她停顿了一下，“但是我可能也会更兴奋，我们见到了别人从未见过和预测到的明天。”
　　“我觉得很多事情，不应该因为未知就直接否定。”
　　解行舟看着她，没有说话。很久之后，他才说道：“你这个想法很危险。”
　　“对于研究人员来说。”他解释，“技术需要保持距离。不能因为好奇，就忽略风险。”
　　祝昭点头，“我知道，所以我才觉得需要研究。”
　　她看向窗外，“如果一个东西可能危险，那不是更应该了解它吗？”
　　解行舟微微一怔，再没有说出反驳的话。
　　过了一会儿，祝昭收拾电脑，“那我先走啦师兄。”
　　“嗯。”
　　她走到门口，又停下来，“师兄。”
　　“嗯？”
　　“你是不是觉得A17没问题了？”
　　解行舟沉默了一秒，“目前来看，没有发现问题。”
　　祝昭点头，“那挺好的。”
　　她笑了一下，“希望它真的只是一次小小的优化。”
　　说完，她离开办公室。
　　解行舟坐在原地，看着关闭的门。
　　很久之后，他才有所动作。