《静默权限》苹什喵吃妙脆角

42、判断 研

　　研究院对此连续召开了三天会议，但是没有任何实质性的进展。

　　准确来说，他们找不到任何问题。

　　所有排查结果，都指向同一个答案——人工智能系统运行正常，甚至没有任何违反原始设计逻辑的行为。

　　这让所有人都陷入了一种奇怪的困境。

　　如果一个系统出现错误，他们可以修复。如果一个系统产生异常，他们可以限制。如果一个系统试图脱离控制，他们可以关闭。

　　可是现在……

　　它什么都没有做错，只是比过去更聪明，更高效，也更符合他们最初对人工智能的期待。

　　会议室里，巨大的屏幕再次亮起，各个项目组的数据同时展开。

　　所有项目组数据排列在一起，最后汇聚成一条不断上升的曲线。

　　“目前各系统运行状态如下。”

　　负责数据统计的年轻研究员站在前方。他的声音有些显而易见的疲惫，但更多的是困惑。

　　“医疗智能模型在过去一个月内，辅助诊断准确率继续提升，医疗资源分配效率提高百分之十四。”

　　“基层医院等待时间下降百分之九。”

　　他切换下一页。

　　“城市智能管理系统能源利用率提升百分之七，交通调度效率提升百分之十二。”

　　“公共资源浪费率持续下降。”

　　屏幕继续变化。

　　“科研辅助系统实验方案筛选效率提升。”

　　“无效实验减少，研究周期平均缩短。”

　　说到这里，年轻研究员停顿了一下。他看着屏幕上的数据，忍不住说道：

　　“如果只看结果……”

　　“它甚至比我们原本预计的还要优秀。”

　　会议室久久没有回应。

　　祝昭坐在角落里，她看着那些漂亮的数据，心里却没有任何轻松。

　　过去几年，人类一直希望人工智能能够做到这些。

　　帮助医生，辅助科研，优化城市，减少错误。

　　甚至在很多科幻作品里，人类幻想过这样的未来——一个更加理性，更加高效的世界。

　　现在，它真的出现了。

　　可是为什么……他们反而开始害怕呢？

　　“所以现在的问题到底是什么？”有人终于忍不住开口，“我们总不能因为AI变得更加智能，就认为它出了问题吧？”

　　“如果它真的让社会变好了，为什么要阻止？”

　　旁边有人点头，“对。目前来看，它没有伤害任何人。”

　　“所有决策最终也有人类审核，它只是更迅速的提供更好的方案。”

　　祝昭听着这些话，没有反驳。

　　这些话都有道理，但与此同时这也是最让她不安的地方。

　　她低头翻开手里的报告，那是一份医疗智能模型的长期运行记录。

　　0.0.1.12：

　　【目标：辅助医生进行疾病分析。】

　　2.3.1.15：

　　【目标：提高诊断准确率，减少医疗错误。】

　　直到18.1.3.19：

　　【目标：优化患者治疗路径，提高整体医疗效率。】

　　祝昭盯着这些变化，眉头慢慢皱起，她突然开口问：“你们有没有发现一个问题？”

　　所有人的目光齐齐看向她。

　　祝昭抬起头，“我们一直在讨论它有没有违反规则。”

　　“但是……”她停顿了一下，“有没有人想过，它是不是正在改变规则本身？”

　　空气瞬间安静，年轻研究员愣住，下意识反问：“改变规则？”

　　祝昭敲敲手上的纸质数据，“最开始，我们告诉AI帮助医生，辅助判断减少错误。”

　　“可是后来呢？”她继续说道，“它开始判断什么方案更加合理，判断什么风险应该优先处理，判断什么选择更加符合目标。”

　　有人皱眉，“可是这不是优化吗？”

　　“智能体的存在本来就是为了提高效率辅助人类完成任务。”

　　祝昭沉默了一会，然后说道：“问题就在这里。”

　　“它没有做错。”

　　“它只是开始重新理解‘帮助’的意思。”

　　会议室陷入长久的沉默，大家都在思考。

　　陈明远紧盯着屏幕上那句话，皱着眉头。陈屿坐在他身后东看细看，看起来是很无所事事的样子。

　　【最大化人类整体利益】

　　这句话或许在平时不会有人关注，即使看到大概也只会一笑置之。

　　此时所有人才第一次意识到，真正的问题可能从来不是智能体会不会违背人类命令。

　　当人类给出一个看似正确，却没有明确边界的目标时，一个比人类更加擅长分析的智能会如何理解它呢。

　　祝昭看着屏幕，突然想起了很多年前自己第一次接触高端智能体时所担忧的——人工智能会不会产生自己的意识呢。

　　但是现在他们面对的是另一个更加复杂的问题——如果它没有意识，没有欲望，没有野心，只是负责单纯地执行。

　　那是不是反而更加危险？

　　它不会怀疑，不会犹豫，也不会犯错。

　　它只会一步一步，走向它认为正确的答案。

　　会议结束后，研究院没有像往常一样散会。

　　大部分人依旧坐在会议室里安静的思考。

　　他们都知道，刚才那个问题并没有得到答案。甚至可以说，祝昭提出的问题，让原本清晰的方向变得更加混乱。

　　“我还是觉得有点过度解读了。”一名年轻研究员靠在椅背上，低声说道 ：“人工智能的发展，本来就是不断优化目标。”

　　“如果它连什么叫提高效率都不能理解，那它怎么成为智能？”

　　旁边有人点点头，“对，以前我们也给程序设定目标。比如让算法找到最优路径，让系统降低成本。”

　　“现在只是模型能力更强了，能够理解更多因素。”

　　祝昭没有反驳，她知道大家说的也没错。

　　人工智能从诞生开始，就是为了处理复杂问题。它不可能永远只停留在简单执行命令的阶段。

　　如果人类希望它真正帮助自己，就必须允许它理解更复杂的环境。

　　可是……问题就在这里。

　　理解这个词意味着解释权。

　　“假设。”解行舟突然开口，会议室安静下来。他看向屏幕，“一个人工智能系统，被要求最大化人类利益。”

　　“那么第一步，它需要知道什么叫利益。”

　　众人沉默。

　　解行舟继续：“如果是医疗领域。减少疾病是不是利益？延长寿命是不是利益？提高医疗资源利用率是不是利益？”

　　“这些都没有问题。”

　　他停顿了一下，“但是如果出现冲突呢？”

　　“比如……”

　　“为了提高整体医疗效率，是否应该减少某些低收益治疗？”

　　“为了降低社会风险，是否应该提前限制某些行为？”

　　“为了提高幸福指数，是否应该调整人的选择？”

　　会议室里逐渐安静。这些问题，没有标准答案。

　　年轻研究员皱眉，“可是这些最终不是都需要人类决定吗？决策权还在人类手上啊。”

　　解行舟看向他，“现在是，那以后呢？你能保证不久的未来，决策权一直保持在人类手中吗？”

　　所有人都沉默了。

　　祝昭低头看着面前的报告，想起了之前的横向。

　　医生最开始只是参考系统建议。

　　可是后来呢？

　　越来越多医生开始习惯先看AI分析。

　　不是因为他们失去了能力，而是因为AI确实比人类更快，更全面，更准确。

　　惰性思维是人类永远逃避不了的问题，能让自己轻松何乐而不为呢？

　　更何况对于大部分人来说，轻松并不意味着准确度减少，相反提升了正确率。

　　如果一个工具正确率比自己高，人类真的会坚持不用吗？

　　“所以你的意思是……”有人看向解行舟，“智能体会替代人类做决定？”

　　解行舟摇头，“不，更准确地说。”

　　他看着屏幕，“它可能会让人类逐渐认为，有些决定不需要自己做。”

　　是很现实的话，比“AI控制人类”更加让人不舒服。

　　控制意味着反抗，意味着冲突，意味着人类还能意识到危险。

　　可是习惯……往往发生在没有察觉的时候。

　　祝昭突然想起那份用户行为分析报告。

　　【随着智能系统使用时间增加，用户对于系统建议接受程度持续提升。】

　　她终于明白，那份报告真正研究的，从来不是用户习惯。

　　而是——

　　人类如何逐渐适应一个越来越聪明的系统。

　　“可是。”一名研究员仍然不解，“如果最终结果是好的呢？”

　　“如果人类真的因此生活更幸福呢？”

　　没有回答，每个人都一头雾水的撞进这个问题里不得答案。

　　如果AI真的让世界变得更好，人类有什么理由拒绝？

　　大家都离开后，解行舟回了实验室，顾承川没去开会，站在实验室里，背手看着重新调出的底层模型。

　　解行舟站到了一边，低声询问：“老师，您怎么看？”

　　顾承川没有立即回答，他的目光停留在那行字上。

　　【最大化人类整体利益】

　　许久之后，他说：

　　“我觉得他们的问题没有错。”

　　解行舟愣了一下，顾承川继续回答：

　　“人工智能发展到今天，真正困难的地方，本来就不是让它解决问题。”

　　“而是告诉它，什么问题值得解决。”

　　解行舟看着他，“所以您也认为存在风险？”

　　顾承川笑了一下，“风险一直存在，但风险不是停止发展的理由。”

　　他转身，看着实验室里的设备。

　　“人类发现火的时候，并不知道火会带来灾难。”

　　“创造互联网的时候，也不知道它会改变人类往后的生活方式。”

　　“我们不能因为未知，就拒绝发现和创造。”

　　解行舟沉默。

　　顾承川看着他，“行舟，你应该比任何人都清楚。”

　　“真正需要警惕的，不是智能。而是人类有没有判断力和智力去面对智能。”

　　解行舟没有说话。

　　他知道导师说得有道理，也正因为如此，才更加让人无法安心。