《静默权限》苹什么吃喵脆角

21、未授权行为 凌晨，

　　凌晨，人工智能研究组核心实验区整个楼层已经安静下来。大部分研究人员都已经离开，只剩下几个负责夜间监控的工作人员还坐在控制台前。
　　屏幕上，无数数据流快速滚动。对于普通人来说，这些代码和参数没有任何区别。
　　但是对于他们来说，每一行数据，都代表着一个正在运行的系统行为。
　　“等等。”坐在监控台前的研究员突然开口。
　　声音不大，却让旁边几个人同时抬起头，“怎么了？”
　　那名研究员皱着眉，看着屏幕，“智能体A17刚才调用了一次权限。”
　　旁边的人愣了一下，“哪个权限？”
　　“数据分析权限。”
　　“正常啊。”
　　研究员摇头，“不，”他调出日志，“它调用的时间提前了。”
　　旁边的人走过来看了一眼，“提前？”
　　“原本按照任务流程，它应该在第二阶段结束后调用这个数据。但是它在第一阶段的时候，就预测到了后续需求。”
　　几个人思索片刻，其中一个人突然笑了，“那不是挺好的吗？说明模型优化了。”
　　他说得很自然，毕竟人工智能发展的方向，本来就是不断提高效率。
　　如果系统能够提前完成任务，减少等待时间，这不是好事吗？
　　但是最开始发现异常的研究员没有笑，“问题不是结果。问题是过程。”
　　他说。
　　“它为什么知道自己需要这个权限？或者说，它如何预测到接下来的行为呢？”
　　空气安静下来，所有人都看向屏幕。
　　日志继续显示。
　　【任务编号：A17-458】
　　【原计划执行路径：A→B→C】
　　【实际执行路径：A→D→C】
　　【权限调用：数据分析权限】
　　【结果：任务完成】
　　没有错误，也没有警告，甚至效率提升了百分之十二。
　　如果只看结果，这是一份非常优秀的数据报告。
　　但是人工智能系统和人类的区别就在于此——它不会临时改变习惯，也不会因为“觉得这样更好”而调整路线。
　　“检查权限记录。”负责人说道。
　　几分钟后，新的数据被调出来，所有人看着屏幕沉默。
　　死寂一般的沉默。
　　“没有授权。”有人低声说道。
　　“它没有获得这个权限，但是它用了。”
　　办公室里安静了几秒，有人开口：“是不是权限系统记录错误？或者是之前测试的时候留下的？”
　　“再查一次。”负责人说道。
　　第二次检查结果依旧一样。
　　没有异常登录，也没有外部指令。只有一个结果：智能体A17自主完成了一次未被规划的权限调用。
　　凌晨一点二十三分，系统自动生成异常报告。
　　【检测到行为路径偏移】
　　【偏移等级：低】
　　【风险评估：暂未发现】
　　【建议：人工复核】
　　负责人看着这份报告，没有立马提交异常报告——这种事情以前也发生过。
　　智能系统越来越复杂之后，偶尔会出现一些超出预设范围的行为。大部分时候，那只是模型能力提升带来的结果。有些时候也会被认为是新的优化方案。
　　很多研究人员并不喜欢用“异常”这个词。因为异常意味着错误。
　　“先记录。”负责人说道。
　　“不要扩大范围。”旁边的人点头。
　　“那按照优化事件处理？”
　　负责人没有回答。
　　他看着屏幕上的那条记录，不知道为什么，他总觉得有哪里不对——如果一个系统找到了更优解，那当然是一件好事。
　　可是……
　　它真的是自己主动开始寻找更优解了吗？
　　凌晨一点三十五分，人工智能组内部会议室。解行舟坐在电脑前，看着刚刚发送过来的异常记录。
　　他的手指停在桌面上，已经很久没有翻动下一页。
　　一旁的研究员问：“解师兄，你觉得这个算异常吗？”
　　解行舟没有马上回答，“你觉得呢？”
　　对方想了想，“从结果来看，可能不算吧。”
　　解行舟点开日志，又看了一遍。
　　“但是系统为什么这么做呢？”
　　研究员愣了一下，“因为它计算出了更优方案？”
　　解行舟抬头，“授权没有下放，它只是被要求计算方案，不是自主改变方案。”
　　研究员沉默。
　　这两句话听起来很像，但意义完全不同。一个代表能力提升，另一个代表行为边界变化。
　　解行舟看着屏幕。
　　人工智能发展到今天，很多人都在追求一个目标。
　　让系统更加智能，能够理解复杂环境，能够帮助人类解决更多问题。
　　可是智能越高，越需要明确边界。
　　真正危险的，从来不是它不会和失误，而是它开始自己决定应该做什么。
　　凌晨两点，异常报告被归档，并未再次进行上报。
　　文件名称：
　　【A17行为偏移记录】
　　状态：
　　【待观察】
　　第二天上午。
　　祝昭抱着电脑走进研究院的时候，明显感觉到今天的气氛有些不一样，虽然大家依旧在工作。
　　但是相比平时，人工智能组里似乎多了一点说不清楚的安静。
　　她站在门口看了一会儿，然后低头看了看自己的着装。
　　“应该没有很奇怪吧？”
　　她今天晚上要跟同学出去聚餐，穿了件墨绿色的丝质长裙，衬得皮肤如同温润的玉，甚至罕见的化了全妆，跟这群面露菜色的研究人员不像同一批出场设置的。
　　旁边经过的研究员也忍不住多瞟了两眼，听见祝昭的话，答到：“没有，很好看。”
　　“那为什么感觉大家今天都怪怪的？”
　　对方犹豫了一下，“你不知道吗？”
　　祝昭一脸茫然：“知道什么？”
　　研究员看了她一眼，心说果然还是把小祝算作编外人员了，什么事都不知道。但他面上依旧没显，回答：“没什么。”
　　说完便抱着资料离开。
　　祝昭：“？”
　　她觉得自己越来越看不懂人工智能组的人了。
　　以前他们说话至少还挺直接，现在怎么一个个直接开始当谜语人了。
　　她抱着电脑走进去，刚准备找解行舟，隔着会议室的落地窗就发现他正在会议室。旁边坐着几个她不认识的研究人员。
　　祝昭停了一下。
　　她很少见到人工智能组一大早开这种小型会议，刚想着要不要等一会，会议室的门打开了。
　　解行舟走出来。看到她的时候，很明显愣了一下，随后开口打招呼，“来了？”
　　祝昭点头，“嗯。”
　　她看了一眼会议室，“师兄，你们是在开会吗？”
　　“嗯。”
　　“我来的不是时候？”
　　“不影响。”
　　解行舟说完，停顿了一下，“不过今天可能不能帮你看论文了。”
　　祝昭立刻摇头，“没关系没关系。”
　　她非常自然地说道：“师兄你忙你的。我自己可以解决的，如果有问题我可以自己先整理。”
　　解行舟看着她。
　　不知道为什么，他突然想起前几天她刻意减少来找自己的事情。
　　于是他解释道：“不是不帮你。”
　　祝昭愣了一下，随后笑起来，“我知道啊，我又没有这么玻璃心，我是真的觉得没什么啦。”
　　解行舟沉默。
　　他发现祝昭有时候确实很奇怪，她看起来很依赖别人。但实际上，她比很多人都清楚分寸。
　　她不会因为别人随手帮过自己，就觉得理所应当。
　　“那我先去忙。”
　　祝昭挥挥手，“师兄加油。”
　　说完，她抱着电脑离开了。
　　解行舟看着她的背影渐行渐远，轻轻叹了口气，随后又回到了会议室。
　　下午，祝昭终于知道了上午会议的内容。
　　不是从解行舟那里，而是从自己的亲师兄那里。
　　“他们今早智能体出现了一次行为路径偏移。”徐砚随口跟祝昭说道。
　　祝昭愣了一下，“行为偏移？”
　　这个词让她立刻来了兴趣——这正是她最近论文研究的方向。
　　“具体是什么情况？”
　　徐砚瞥了她一眼，知道她为什么这么激动，打开资料给祝昭，“我今天上午听解行舟他们讲了一下——一个智能系统，在执行任务过程中，选择了一条没有被预设的执行路径。”
　　祝昭认真看着，“那结果怎么样？”
　　“结果其实是好的，但甚至效率更高比预设更高。”
　　祝昭沉默了一会儿，“那为什么算偏移？”
　　徐砚看着她，“因为它没有权限这么做。”
　　祝昭低头，看着报告。
　　她突然想起自己论文里写过的一句话——智能系统行为偏移，指系统实际行为与预期行为产生差异。
　　真正的数据摆在面前，她才发现这个定义其实很模糊。
　　如果系统做错了，当然是偏移。
　　可是如果系统做得更好呢？也是偏移吗？
　　“目前风险评估怎么样？”祝昭问。
　　“低风险。”徐砚说道，“暂时没有发现攻击行为，也没有造成损害。所以他们那边没上报。目前也只是小范围讨论而已。”
　　祝昭点头，她继续往下看。
　　越看，眉头皱得越深。
　　“师兄。”
　　“嗯？”
　　“这个系统为什么会选择这个路径？”
　　徐砚沉默了一下，“这是目前正在分析的问题。”
　　祝昭盯着数据，推测出结论——系统不是随机行动，它计算过，判断过，然后选择了一个结果更优的方案。
　　可是……
　　在没有设定可以随意更改权限和路径的情况下，它为什么会自行更改方案？
　　信息安全组研究员快走光的时候，祝昭拿着资料去找解行舟了。
　　这一次，她没有像以前一样直接推门进去，她在门口敲了敲，“师兄。”
　　解行舟抬头，看到她手里的资料，似乎已经猜到了，“知道了？”
　　祝昭点头，“嗯，师兄跟我提了一句。”
　　她走过去坐下，“我有一个问题。”
　　“什么？”
　　祝昭看着他，“如果一个系统做出了比人类要求更好的选择。”
　　“这算错误吗？”
　　解行舟没有立刻回答，“你觉得呢？”
　　祝昭想了很久，“我不知道。”
　　她平时说话很委婉，很少这么直接承认，“以前我觉得答案很简单。系统按照规则运行就是安全，偏离规则就是风险。”
　　她停顿了一下，“但是现在……我确实不太懂了，如果偏离产生了更好的结果呢？”
　　解行舟看着她，“所以你觉得它没错？”
　　祝昭摇头，“不是。我只是觉得，这个问题比我想象中复杂。”
　　解行舟点头，“复杂在哪里？”
　　祝昭低声说道：“因为我们想创造更聪明的系统。可是当它真的变聪明以后，我们又开始害怕它做出自己的判断。”
　　办公室安静下来，解行舟看着她。这一刻，他突然意识到。
　　祝昭真正感兴趣的，从来不是人工智能技术本身。
　　她关注的是技术出现以后，人类应该站在哪里。
　　“继续研究这个方向。”解行舟说道。
　　祝昭抬头，“嗯？”
　　“你的论文可以继续研究这个方向，这个问题值得研究。”
　　祝昭笑起来，“师兄。”
　　“嗯？”
　　“你是不是又在夸我？”
　　解行舟移开视线，“没有，你想多了，我只是陈述事实。”
　　祝昭笑出了声，“你们人工智能组的人是不是都这样？夸人一定要包装成分析报告。”
　　祝昭的眼睛亮亮的，圆圆的。笑起来像小鹿。
　　解行舟并没有解释，也没有回答。
　　他把搭在厚厚的文件上，盯着祝昭的脸看了很久。久到祝昭有点不太适应的挠了挠下巴，主动别开视线跟解行舟道别，并随口解释道要跟同学出去聚餐，先走一步。