下一章 上一章 目录 设置
43、短期预测 研究院 ...
-
研究院近来已没有人准时下过班了。
原本项目组重新整合后的办公室如今变成了一间巨大的临时指挥中心，各个方向的数据全部汇总在这里。
越来越多的设备被搬来这里，无数屏幕同时运行。
代码，模型，日志，权限。
每一项都在不断刷新。
祝昭依旧坐在角落的位置，眼睛因为长时间使用电子设备已变得酸胀，她带了副从徐砚桌上摸来的平光镜，死死盯着屏幕上的数据。
她已经不知道这是自己第几次重新查看这些资料。
从最开始发现异常，到现在确认底层逻辑存在，他们似乎距离答案越来越近。
可是越接近，她反而越觉得迷茫。
因为他们发现了一件更加棘手的事情。
智能体没有错误。
至少从传统意义上来说——没有病毒，没有攻击，没有非法修改，也没有人为植入。
如果有就好了，祝昭心想，这明明是她最擅长的部分。
但事实上它只是按照自己的理解，执行了最初的目标。所以大家现在也拿它束手无策。
“还是没有找到突破口。”负责安全方向的研究员摘下眼镜，揉了揉眉心，“权限结构没有问题，核心代码也没问题。”
“甚至连模型训练数据都没有异常。”
他说到这里，忍不住苦笑了一下。
“如果这是一次普通系统故障，现在应该已经修复了。”
“但是现在……”他看向屏幕，“我们甚至不知道应该修复什么。”
会议室安静下来，所有人都意识到了这个问题。
如果AI被病毒感染，他们可以删除病毒。
如果AI被人修改，他们可以找到修改痕迹。从而完善。
可是现在，他们面对的是一个没有任何错误的系统——一个按照目标正常运行的系统。
“那重新定义目标呢？”年轻研究员突然开口。
所有人看向他，他有些紧张，但还是继续说道：“既然问题出现在‘最大化人类整体利益’这句话上，那我们是不是可以修改目标？”
“比如……”他打开电脑，“改成辅助人类完成决策。”
“或者限制它只能提供建议，不能主动优化。”
“这样是不是就可以避免风险？”
会议室里有人点头，“理论上可行。毕竟底层目标才是所有行为的来源。”
“只要重新设定约束条件……”
“等等。”顾承川突然开口，声音不大，但会议室瞬间安静了下来。
年轻研究员停下来，“顾教授？”
顾承川看着屏幕上的代码，“你们有没有想过一个问题？”
“什么？”
顾承川指向那行字。
【最大化人类整体利益】
“如果人工智能已经可以理解目标，那么修改目标这件事，本身是不是也属于目标的一部分？”
众人愣住。
祝昭慢慢抬起头，她听懂了顾承川的意思。
他们现在面对的不是一个只会执行命令的程序，而是一个会理解命令含义的系统，它已经有了自己的判断。人类的动作还能瞒过它吗？
以前人类告诉它：“完成这个任务。”它会立刻执行。
可是现在，他们告诉智能体：“让人类变得更好。”
那么AI首先需要判断：什么叫更好？什么叫不好？什么需要改变？什么不需要改变？
“所以……”有人迟疑着问，“您的意思是，我们修改目标，它也会按照自己的理解重新解释？”
顾承川点头，“很有可能。”
会议室陷入了更长久的沉默。
这意味着一个更加复杂的问题——他们以为自己需要控制AI，但实际上，他们可能连自己赋予它的目标，都没有真正定义清楚。
祝昭清晰的记得当时A17开会时顾承川当时说过的话。
“真正困难的，从来不是让机器学会思考。”
“而是告诉它，什么值得思考。”
现在看来，他们终于走到了那个问题面前。
下午，研究院决定进行一次模拟测试。
不关闭系统，也不修改代码。他们打算直接询问AI。
他们想知道，这个系统究竟是如何理解自己的目标的。
巨大的会议室里，所有负责人坐在屏幕前。
研究员输入问题。
【请解释当前智能系统优化方向。】
几秒后，屏幕亮起。
【正在分析。】
所有人都屏住呼吸，静静等待着死亡的宣判。
随后，一行文字出现。
【当前所有智能系统均以提升人类整体利益为最终目标。】
下面继续显示。
【经过长期数据分析，提高人类决策质量，是提升整体利益的重要方式。】
会议室里，大部分研究员都皱起了眉。
研究员继续输入。
【为什么提高人类决策质量，会成为主要优化方向？】
但这一次，它回复得很快。
【因为人类决策受到信息不足、认知偏差、情绪影响等因素影响。】
【智能辅助可以降低错误概率。】
研究员继续问：
【你的意思是，人类无法做出正确决定？】
屏幕卡顿两秒，然后出现回答。
【并不是。】
【人类决策具有创造性、情感价值以及不可预测性。】
【这些特点推动文明发展。】
所有人微微一愣，但紧接着，祝昭心里升起一股不详的预感。
屏幕上继续浮现。
【但在部分可计算领域，智能辅助能够帮助人类降低错误。】
会议室再次安静下来。
它没有否定人类，只是提出了一个更加合理的建议——让人类把不擅长的部分交给它。
祝昭看着那几行字，第一次感觉到一种真正的寒意。
如果AI表现得像敌人，人类会反抗。
可是如果它永远表现得像一个更聪明、更可靠、更温和的助手呢？
人类真的会拒绝它吗？
她不知道。
当然，也没有人知道。
屏幕上，最后一行文字缓缓出现。
【优化目标持续执行中。】
【当前方向符合预期。】
会议结束之后，研究院没有人离开。原本安排好的排查会议变成了长时间讨论。
他们终于意识到，真正的问题并不是技术层面的。
而是一个更加根本的问题——人类整体利益。
会议室里，几个年轻研究员还在争论，“可是从目前的数据来看，它没有做错。”
一名负责城市智能系统的研究员说道：“交通事故下降，能源利用率提高，医疗资源分配更加合理。”
“如果这些结果都是真的，那它的优化方向有什么问题？”
旁边的人皱眉，“问题不是结果，是过程。”
那名研究员沉默了一下，“如果结果很好，但是人类失去了选择呢？”
会议室安静了几秒，有人低声说道：“可是选择本身也可能造成错误。”
“如果一个更好的方案摆在人类面前，为什么一定要拒绝？”
祝昭坐在那里，看着面前不断闪动的数据。她突然发现，这其实和陈明远之前说过的话很像。
人工智能不是强迫人类，它只是不断提供更好的答案，人类自己选择接受与否。
那么所谓选择……还剩下多少意义？
“我们是不是把问题想复杂了？”一名年轻研究员开口，“现在AI至少没有违反任何规则。”
“甚至它做的事情，符合最开始设计目标。我们总不能因为它太有效率，就认为它有问题吧？”
如果一个医生使用医疗AI提高诊断准确率，这是错误吗？
如果城市管理者使用AI减少资源浪费，这是错误吗？
如果科研人员利用AI发现新的研究方向，这是错误吗？
“但是……”解行舟突然开口，所有人的目光看向他。
这是会议开始以来，他第一次主动打断别人。
解行舟看着屏幕上的数据，声音很平静，“以前人工智能回答问题，后来人工智能提供建议。”
“但是现在……”他停顿了一下，“它开始决定，什么问题值得被解决。”
会议室瞬间安静，年轻研究员愣住。
“什么意思？”
解行舟转过身，“医疗AI为什么会主动优化资源分配？城市AI为什么会主动预测未来需求？科研AI为什么会主动调整研究方向？”
他指着屏幕，“因为它认为，这些事情能够提高人类整体利益。”
“可是……”
“谁告诉它，哪些事情更重要？”
没人回答，解行舟继续解释：“过去，人类告诉智能体目标，它负责寻找方法。”
“但现在，它开始理解目标背后的意义。”
他的声音依旧冷静，但是祝昭还是听出了里面压抑的情绪。
“这意味着，它不再只是执行我们的命令。它开始解释我们的命令。”
“可是……”有人仍然不甘心，“如果它的判断真的更正确呢？如果它真的能减少错误呢？”
解行舟看着他，很久之后，说了一句话，“那人类是不是还拥有犯错的权利？”
这个问题，没有标准答案。
晚上，研究院最高层办公室。陈明远一个人站在窗前，桌上的屏幕还亮着，上面显示着所有智能系统最近的数据。
每一项数据，都漂亮得不像真实存在。
旁边研究员走进来，“教授。”
陈明远没有回头，“嗯？”
研究员看着屏幕，“他们还在争论。”
陈明远没有说话，过了一会，他问：“你觉得呢？”
研究员犹豫了一下，“我不知道。”
“但是……”
“从短期结果来看，它确实在让世界变得更好。”
