当AI从信息提供者升级为决策制定者，责任归属成为无法回避的痛点。从'AI看店'项目的实践经验出发，本文深入剖析AI决策类产品的边界设计难题——当系统给出错误建议导致经营损失时，责任链条的断裂将引发怎样的连锁反应？更揭示了大语言模型'自信犯错'的底层机制，并给出三条关键的产品设计原则。
当 AI 从”回答问题”走到”替人做决定”，它撞上的不是技术天花板，是责任天花板。AI 会一本正经地出错，而决策的后果需要有人承担——而 AI 担不了责。结合一个真实的”AI 看店”Agent 项目，聊聊 AI 决策类产品的边界该怎么设计。
手头停滞的那个项目，是”AI 看店”—— AI 观察店铺的运营情况，给店长和店员出经营建议。
技术上不是不能做。真正让我停下来反复想的，是另一个问题：
如果 AI 给的建议是错的呢？错了，谁来负责？
一、这个项目，从一开始就难在哪先说说这个”AI 看店”到底想做什么。
运营商的线下业务，办理量是逐年下滑的。业务越来越少，意味着”结果”越来越不好抓——你没法只看成单数据来判断一家店、一个营业员干得好不好，因为单子本来就少。
所以思路就反过来了：既然结果不好抓，那就从动作入手。把营业厅里每个人的动作尽量标准化，看店长和店员每天到底做了什么，再基于这些动作给出优化建议。
比如，AI 看完一家店的情况，可能会建议：店长今天该怎么调度店员——是让某个店员去做直播引流，还是去社区摆摊，还是留在店里加快业务办理速度。
听起来很合理。但我做着做着，发现两个绕不过去的坎。
第一个坎：动作根本没法完全留痕。
要让 AI 看店，就得让它”看得见”——接入门店的库存系统、业务系统，甚至店里的摄像头。但就算这些都接上了，你能采集到的，永远只是动作的一部分。
一个营业员今天成了一单，真正的成单理由是什么？可能是他上周和这个客户聊得投机、客户记住了他；可能是他临场的一句话打动了对方；可能纯粹是客户自己早就想办了。这些”成单的真实理由”，和系统能记录下来的”动作”，常常根本不挂钩。
这其实就是我在第一篇里写过的那件事——有些东西，是装不进系统的。在知识图谱里，它是”装不下的知识”；在这个 Agent 项目里，它是”采集不到的动作”。同一个病根。
第二个坎，更要命——就算 AI 真的给出了建议，这个建议错了，谁负责？
二、先看清楚：AI 到底会犯什么错在讲”责任”之前，得先讲清楚 AI 会犯什么样的错。因为它犯错的方式，和人不一样。
讲两个我自己碰到的事。
第一件。
我想买个体脂秤，想要充电款的、不要换电池的那种。我问 AI 助手：”某品牌哪几款体脂秤是充电的？”它很干脆地给我推荐了好几款。我挺高兴，转头自己去查了一下——推荐的那几款，全是电池的。
我把查到的结果发回给它。它说：”抱歉。”然后呢？然后就没有然后了。下一次我再问类似的问题，它大概率还会这样答。
第二件，是前阵子看到的一个新闻。
有用户向 AI 助手咨询退票手续费是多少，AI 答复说大概 5%。结果用户实际退票，被扣了远不止这个数。用户很气，想起诉，AI 还”很配合”地帮他写了一份起诉文稿，并且告诉他”一定能赢”。
这两件事放在一起，能看出 AI 犯错的两个特点：
第一，它不是”不知道”，它是”不知道自己不知道”。它不会说”这个我不确定”，它会用和正确答案完全一样的、肯定的语气，给你一个错的答案。
第二，它对自己造成的后果，没有任何感知。体脂秤那个，它道个歉就结束了——可如果我没去核对，就直接下单了呢？机票那个更典型，它说错了手续费，转头还在用”一定能赢”制造新的错误判断。它从头到尾都很自信。而自信和正确之间，没有任何关系。
这就是大家说的”幻觉”。这里我想强调一点：幻觉不是bug，不是等技术成熟就能完善。大语言模型本质上是一个”预测下一个词最可能是什么”的系统，它追求的是”听起来对”，不是”真的对”。联网搜索、检索增强这些手段能减少幻觉——但减少不等于消除。我那个体脂秤的问题，AI 大概率是联网搜过的，结果还是错了。
既然 AI 的输出天然不可全信，那么一个关键的区分就出现了。
AI 做的事，其实分两种：
一种是回答问题——回答”是什么”。比如”这款手机多少钱”。这种事就算它答错了，用户自己心里有数、会再核对一下。判断权始终在自己手里，错误的成本很低。
另一种是替你做决定——给出”该怎么做”的建议，用户照着做。比如 AI 对病人说”你的病情不需要手术”。一旦相信并照做，这个决定很可能会产生不可逆的后果。
AI 可以输出一个决定，但它不能承接这个决定的后果。它不会因为店里亏了钱、丢了客户而承担任何东西。它没有可以被追责的主体资格。它甚至不知道自己的建议造成了损失。
而店长会怎么说？店长会说：”是 AI 让我这么干的。”
这句话一出口，整条责任链就断了——AI 不认、也不会认；店长觉得自己是”听系统的”；那最后呢？最后是设计这个产品的人、定这套方案的人，来背这个锅。
这就是为什么”AI 看店给建议”这件事，比”AI 客服答疑”难得多。答疑错了，客户再问一句、再查一下，损失可控。但 AI 指挥了真实的人、做了真实的经营动作、产生了真实的盈亏——这中间的责任，是没有着落的。
凡是有人要为结果负责的地方，AI 最多是参谋，拍板的必须是人。
四、那产品经理该怎么办讲到这里，可能有人会觉得，那 Agent、AI 决策类产品是不是就别做了。
不是。问题不在”做不做”，在”怎么设计”。
我现在的想法是，做这类产品，至少要守住三条。
第一条：把”信息”和”决策”分开，给它们不同的交互。
AI 回答”是什么”，可以直接给。但 AI 一旦要给”该怎么做”的建议，产品上就要主动降级——把它清清楚楚地呈现为”参考建议”，而不是”结论”，并且把最终确认的那个动作，留给人。
就像机票那个场景，正确的设计应该是：AI 说完手续费，必须紧跟一句”请以航空公司实际页面为准”，并给出跳转入口——而不是让用户拿 AI 随口说的数字当依据去做决定。
第二条：让 AI”知道自己的边界”，不确定的时候，就说不确定。
体脂秤那件事的根本问题，是 AI 本该说”这个我不确定，建议你查一下官方参数”，但它没有，它硬答了。
产品设计上要做的，是给 AI 建立置信度判断和兜底机制——在它没把握的场景，让它主动暴露不确定性、主动建议用户去核实、主动转人工，而不是硬撑着给一个流畅的错误答案。
一个会说”我不知道”的 AI，比一个什么都敢答的 AI，安全得多。
第三条：决策类场景，一定要设计”人在回路”。
我那个 Agent 项目，真正该有的形态，不是”AI 直接给店长下指令”，而是”AI 做数据分析、给出建议和依据，店长来判断、来拍板”。
AI 负责什么？负责把信息整理到位——把店里的情况、可选的动作、每个动作的利弊和数据依据，清清楚楚地摆出来。人负责什么？负责那个”拍板”的动作，以及为这个动作负责。
这不是因为 AI 能力不够才做的妥协。这是责任结构本身决定的、本来就该如此的设计。
写第一篇的时候我说，人和 AI 的边界，应该由”知识的性质”来划。写到这篇，我想再补一刀：
边界也应该由”责任”来划。有后果、要担责的地方，AI 退到参谋位，人站到拍板位。
（业界也把这类”给 AI 套上约束和护栏”的工作，叫做 harness engineering——但叫什么不重要，重要的是想清楚：护栏该立在哪。）
本文由 @是AD 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Pixabay，基于CC0协议
顺阳网配资提示：文章来自网络，不代表本站观点。
