《秋日春朝》付满满

12、上线 早上九

　　早上九点零四，倪好坐在电脑前，刷新了第三次后台。
　　页面上的数据还没有什么变化。
　　项目今天正式上线。
　　准确地说，是第一阶段灰度上线。
　　她盯着那几个数字看了一会儿，又打开用户反馈页面。
　　目前没有异常。
　　她松了口气，端起旁边已经凉掉的咖啡喝了一口。
　　下一秒，皱了皱眉。
　　“你这咖啡放多久了？”
　　旁边突然有人说话。
　　倪好转过头，看见周骁抱着电脑站在她桌边。
　　“我喜欢喝凉的。”
　　“你们产品是不是都靠忘记吃饭和喝冷咖啡活着？”
　　“你们算法不是也一样？”
　　周骁笑了一声。
　　“今天上线，你还挺有精神。”
　　“表面。”
　　倪好把咖啡杯推远了一点。
　　周骁低头看了一眼她的屏幕。
　　“现在多少？”
　　“十二个用户。”
　　“才十二个？”
　　“灰度百分之十。”
　　“哦。”
　　周骁点点头。
　　“那还行。等会儿要是有人骂，记得先别骂模型。”
　　“谁说要骂模型了？”
　　“上次那个客户一说AI回答错了，第一句话就是‘你们这模型是不是不行’。”
　　“那是因为你们给他解释了半天模型原理。”
　　周骁沉默两秒。
　　“……我们以后改。”
　　八点五十五，李凯从会议室出来，手里还拿着半杯水。
　　“倪好。”
　　“嗯？”
　　“接口刚才有一波延迟。”
　　她立刻转过身。
　　“多少？”
　　“P95正常，P99有点高。”
　　“具体？”
　　“2.8秒。”
　　倪好打开监控页面。
　　“什么时候开始的？”
　　“八点四十八。”
　　她看了一眼流量曲线。
　　“现在还在涨吗？”
　　“暂时没有。”
　　“新功能灰度先降到百分之五。”
　　李凯愣了一下。
　　“现在？”
　　“嗯。”
　　“可是今天第一天。”
　　“我知道。”
　　倪好看着监控。
　　“第一天更不能为了数据好看硬撑。先保线上。”
　　李凯点头。
　　“行。”
　　周骁在旁边听完：
　　“那模型这边呢？”
　　“先不动。”
　　“为什么？”
　　“现在没有证据证明是模型问题。”
　　她指了一下监控。
　　“接口延迟和回答质量是两件事。先把链路拆开看。”
　　李凯点头说。
　　“我去查。”
　　他刚走两步，小王从另一边跑过来。
　　“倪姐。”
　　“怎么了？”
　　“刚才有个用户反馈，说AI答非所问。”
　　倪好站起来:“给我看。”
　　小王把电脑转过来。
　　屏幕上是一段对话。
　　用户问：
　　“公司差旅报销的标准是什么？”
　　AI回答了一大段。
　　最后却补了一句：
　　“如果您还有其他问题，欢迎随时咨询。”
　　看起来没什么问题。
　　倪好往上翻了一下。
　　又问：
　　“用户满意吗？”
　　“他给了差评。”
　　“为什么？”
　　“说没回答。”
　　“那标准是什么？”
　　小王愣了一下。
　　“知识库里有。”
　　倪好点开检索记录。
　　果然。
　　检索到了。
　　但是AI最后输出的时候，把最关键的金额标准省掉了。
　　周骁凑过来看。
　　“模型抽风？”
　　倪好没有回答。
　　她继续往下看。
　　几秒后，她说：
　　“不是。”
　　“那是什么？”
　　“提示词。”
　　周骁皱眉。
　　“哪里？”
　　倪好指着规则。
　　“我们写的是‘根据知识库回答用户问题’，但是没有要求它优先提取用户明确询问的字段。”
　　周骁看了一眼。
　　“这也能算问题？”
　　“能。”
　　倪好把鼠标往下拉。
　　“人看这句话，知道用户问的是报销标准。模型不一定。”
　　她想了想。
　　“它现在更像是在完成‘回答问题’这个动作，而不是完成‘回答用户真正想知道的信息’。”
　　小王点头。
　　“那怎么改？”
　　“增加字段优先级。”
　　“具体呢？”
　　倪好拿起笔，在纸上写了几行。
　　第一，先识别用户问题中的核心信息。
　　第二，知识库检索成功后，优先回答明确询问的字段。
　　第三，如果知识库中缺少必要参数，不允许自行补全。
　　“还有第四条。”
　　周骁抬头。
　　“什么？”
　　倪好看着电脑。
　　“如果连续两次检索不到，就别让它继续编。”
　　周骁笑了。
　　“让它认输？”
　　“让它承认不知道。”
　　小王在旁边记笔记。
　　“这个我写进测试用例。”
　　“嗯。”
　　倪好把纸递给他。
　　“再加几个边界情况。”
　　“哪些？”
　　“用户只问报销上限，不要把整个制度重新说一遍。”
　　“好。”
　　“用户问‘我能不能报’，但没说是什么费用，先追问。”
　　“好。”
　　“知识库有旧制度和新制度，优先新版本。”
　　“这个已经有了。”
　　“那测试一下旧版本是不是还会被召回。”
　　小王停了一下。
　　“我现在测。”
　　他转身走了。
　　周骁看着他的背影，突然说：
　　“你是不是准备把测试集重新做一遍？”
　　“嗯。”
　　“那今天还上线吗？”
　　倪好看了他一眼。
　　“上线。”
　　“不是有问题吗？”
　　“上线和修问题不冲突。”
　　她靠在椅背上。
　　“我们现在是灰度，不是直接全量。发现一个问题，就解决一个问题。”
　　周骁想了想。
　　“有时候感觉你们产品挺矛盾。”
　　“哪里？”
　　“既要快，又不能出问题。”
　　倪好笑了。
　　“所以才需要产品。”
　　十点二十，第一轮数据出来。
　　灰度用户三十七个。
　　AI回答成功率九十四点六。
　　平均响应时间一秒多。
　　P99已经降回两秒以内。
　　但有五个用户退出。
　　倪好把这五个案例全部点开。
　　其中三个是用户主动结束。
　　还有两个，是AI连续追问后，用户直接关掉了页面。
　　周骁看了一眼。
　　“这个算正常流失吧？”
　　倪好摇头。
　　“先别这么定义。”
　　“为什么？”
　　“因为我们不知道他为什么走。”
　　她打开其中一个案例。
　　用户：
　　“我想查一下去年十二月的报销记录。”
　　AI：
　　“请提供您的部门。”
　　用户：
　　“销售。”
　　AI：
　　“请提供您的姓名。”
　　用户：
　　“……”
　　然后退出。
　　周骁看完笑了。
　　“确实有点烦。”
　　“不是有点。”
　　倪好看着屏幕。
　　“如果我是用户，我也走。”
　　她往椅背上一靠。
　　“我们有权限系统，为什么不直接识别当前登录用户？”
　　李凯刚好从后面经过。
　　听见这句话停下来。
　　“这个要接权限接口。”
　　“什么时候能接？”
　　“今天接不了。”
　　“明天呢？”
　　“明天下午应该可以。”
　　倪好点头。
　　“那今天先做降级。”
　　“怎么降？”
　　“如果用户已经登录，默认读取当前用户身份。只有权限不足或者身份不明确的时候，再追问。”
　　李凯想了想。
　　“这个可以。”
　　“还有。”
　　倪好看向周骁。
　　“以后测试不要只测‘AI答对没有’。”
　　周骁问：
　　“还测什么？”
　　“测用户会不会烦。”
　　办公室安静了一秒。
　　小王没忍住笑了一声。
　　“这个指标怎么测？”
　　倪好也笑。
　　“暂时没有指标。”
　　她重新看向屏幕。
　　“但至少我们自己先别把AI做得像个客服机器人。”
　　十二点，项目第一阶段正式上线。
　　没有掌声，也没有庆祝。
　　李凯在群里发了一句：
　　【第一阶段灰度已完成，当前运行正常。】
　　周骁回了个：
　　【活着。】
　　小王：
　　【+1。】
　　倪好看着群里的消息，笑了一下。
　　她低头看时间，才发现已经十二点十分。
　　肚子开始叫。
　　她拿起手机准备点外卖，周骁从旁边经过。
　　“吃什么？”
　　“不知道。”
　　“公司楼下那家面？”
　　“行。”
　　“我帮你点。”
　　“别点太辣。”
　　周骁看了她一眼。
　　“你也不吃辣？”
　　“最近胃不太行。”
　　“那你还喝冷咖啡？”
　　倪好沉默两秒。
　　“……这个问题我们产品部门内部解决。”
　　周骁笑着走了。
　　办公室重新安静下来。
　　倪好看着电脑上的项目页面。
　　上线第一天。
　　没有想象中的顺利，也没有想象中的糟糕。
　　有问题，有争论，有临时修改，也有一些终于跑通的东西。
　　她忽然觉得，自己好像真的开始进入这个行业了。
　　不是简历上的“AI产品经理”。
　　而是坐在这里，面对一个个真实的问题，然后想办法把它们解决掉。
　　手机就在这时候震了一下。
　　她低头看了一眼。
　　是一条工作消息。
　　【客户：下午方便再聊一下权限问题吗？】
　　倪好回复：
　　【可以，三点开始。】
　　发完，她重新打开电脑。
　　下午还有一场仗。
　　回到家已经11点整,加班加到绝望的时候,倪好觉得好累,只想躺在床上补觉。她随手打开某软件，想着刷五分钟提提神。
　　第一条视频就是：
　　《富二代赶紧滚出来创业》
　　下面一堆评论。
　　【发上四休三或上二休五的高薪就业岗位啊！】
　　【这么严峻的就业市场，你要闲死我吗？穷人的命就不是命了吗？】
　　【给我发13薪，我要躺半年。】
　　【古代大富大贵人家还出来施粥呢。】
　　【富二代你们人呢？】
　　她盯着屏幕嘎嘎笑完,顺手点了赞,并转发给杨庚叙暗示。
　　发完，她把手机放旁边充电。
　　过了两秒，又觉得自己这句话好像有点莫名其妙。
　　她重新拿起手机。
　　算了,没撤回。
　　就当是——
　　随手分享。