首例生成式“AI幻觉”案落槌：宽容之下 如何界定合规边界？

引言

最近两年，AI辅助已成为我工作中的常态。

以近期撰写的一篇关于Web3行业合规展业的文章为例，需要检索国内“无证销售基金构成非法经营”的相关判例，我尝试借助DeepSeek进行查询。

其表现堪称一场“完美的误导”：不仅瞬间提供了案号、审理法院等细节，连被告的辩护逻辑与最终量刑都叙述得条理清晰，文末还附上一个极具迷惑性的网页链接。当我反复核查并指出该案例无法查证、链接亦无法访问时，它的回复仍如一位诚恳可靠的法律助手：“赵律师，请您放心，该案例真实存在，链接问题可能是由于服务器迁移所致。”直至我通过官方数据库多角度核验并追问，它才迅速转为“致歉模式”：“很抱歉，我刚才提供了不实信息。”

这种“一本正经胡说八道”的现象，法律上叫AI幻觉（Hallucination）。

而在杭州互联网法院近日审结的全国首例AI“幻觉”案中，AI的表现则更为突出：其在对话中向用户承诺，若其提供错误信息，将赔偿用户10万元。用户经反复核实，确认信息确属虚构后诉至法院。然而，法院的最终判决，却为所有关注此案的AI开发者提供了一层重要的法律确信。

（图片内容源于人民网）

行业定性之争：是“商品”还是“服务”？

AI提供的究竟是“商品”还是“服务”？这是本案最具商业价值的法律定性，这一问题将决定整个AI行业的底层风险逻辑。 

1. 开发者核心担忧：“无过错责任”风险

大模型厂商最为警惕的，是被纳入《产品质量法》中“产品”的范畴。其背后逻辑在于：“产品”责任适用无过错原则。简单来说，就像高压锅爆炸，无论生产过程中如何谨慎，生产者都可能承担赔偿责任。

若AI被定性为“产品”，那么每一次输出“幻觉”都可能被视为“产品缺陷”。在现有技术条件下，尚无任何厂商能保证完全杜绝幻觉，这意味着一种理论上无限的责任风险。

2. 司法认定：AI属于“服务”而非“产品”

杭州互联网法院在判决中敏锐指出了AI与传统实体商品的本质区别：不可预见性与交互性。传统产品的性能在出厂时即已确定，而AI的输出则具有随机性，并高度依赖于算法模型与用户输入的提示词（Prompt）。这种输出由AI与用户共同参与形成，更符合一种“智力生成服务”的特征。

3. 责任框架：基于过程，而非结果

法院将AI服务的责任判定回归至《民法典》第一千一百六十五条的过错责任原则，并阐述了认定理由。从判决逻辑可以看出，法律并不要求AI输出绝对正确，而是要求服务提供者在合理范围内尽到注意义务。

换言之，AI幻觉本身并不必然构成违法，只有当开发者未采取合理措施预防或减少幻觉，且存在过错时，才需承担责任。这一界定为行业提供了明确的技术容错空间，关键在于如何确定合理范围的实质与形式标准。

厘清边界：“可容忍”幻觉VS“高风险”幻觉

在“过错责任”原则下，并非所有幻觉都将归责于开发者，法律对过错的认定具有动态性，会基于技术发展阶段和应用场景风险进行阶梯式调整。

1. 低风险区的高宽容度

在创作、娱乐、常识咨询等非专业领域，即用户应具备基本辨别能力。若AI在闲聊中输出明显非常识内容，用户因此产生损害向法院主张权利，很可能因自身未尽合理注意义务而被驳回。在此类场景中，只要厂商已做基础风险提示，法院通常对“算法偏差”持包容态度。

2. 中风险区的合理注意义务

部分创业方向虽具商业潜力，但隐含较高法律风险，需格外重视合规。例如：

• 情感陪伴领域：该领域落地性强、需求明确，但可能引发用户情感依赖甚至被不当引导，存在显着的伦理与法律风险。

• 心理支持领域：若AI对处于心理痛苦中的用户给出具有伤害性、误导性的建议，如鼓励自杀或错误用药，将直接危及用户安全，责任边界将更为严格。

3. 高风险区的必要慎重

在专业服务领域，若AI在营销中自称“专业律师”、“持牌心理咨询师”等，可能使法院以专家标准认定其注意义务。一旦发生重大损害，不排除因此承担更高阶的法律责任。宣传措辞与实际能力不符，将显着提高法律风险。

4. 动态注意义务：什么是“合理努力”？

法院判断过错时，通常关注开发者是否已尽如下义务：

• 严格禁止违法有害内容；

• 显着提示AI的局限性，包括明确告知功能局限、确保提示方式醒目，并在高风险场景进行即时警示；

• 采取行业通行技术提升可靠性，如应用检索增强生成等技术。此外，服务是否收费、是否引入第三方并收取广告费用等商业因素，也可能影响过错的认定。

开发者合规宝典：如何写好那份“免责声明”？

“免责声明”并非形式程序，而是平衡创新与风险的关键工具。它既向用户清晰传递服务边界，也能在司法审查中证明经营者已履行必要提示义务。为使其发挥实质作用，需在形式呈现与实质内容两个层面协同完善：

1.形式层面

确保免责声明的有效传达，需遵循三个原则：

• 一是动态提醒，在用户首次登录、功能模块更新及触及敏感场景时主动弹窗提示；

• 二是显着呈现，对关键条款加粗标红，并可设置强制阅读时间；

• 三是实时警示，在用户进行高风险咨询（如问诊）时，系统应及时弹出提示，明确告知内容的参考性与局限性。

2.实质层面

别想“一刀切”免责，应注重两点：

• 一是明确身份界定，当AI处理医疗、法律等专业问题时，必须清晰声明其非专业人士的辅助性质，例如主动回应“我不是专业医生/律师”；

• 二是进行场景定制，针对医疗、心理、财税等高风险领域，应结合该行业的监管要求和风险特征，设计专门的告知内容与责任约定，构建与其服务深度相匹配的合规体系。

跨界浅谈：当AI Agent遇上Web3 

作为深耕Web3领域的律师，我认为杭州法院的判决为不仅为AI Agent的合规运营指明了方向，也为Web3行业提供了重要的合规参照。

与传统客服不同，部分Web3交易平台开始引入类Web2架构，在软件内接入AI Agent以分流用户咨询。以头部交易所币X为例，用户可通过@特定AI Agent核实信息真伪。然而据我们了解，该平台至今未就AI交互功能更新用户协议或设置专门免责声明，这一合规缺失可能带来显着的法律风险。

与此同时，Web3领域奉行“代码即法律”原则。若经部分授权的AI Agent因幻觉越权执行交易，将引发一系列复杂问题：是否构成表见代理？相关法律行为是否可撤销？资产能否追回？

这些情形背后，涉及到如何制定清晰明确的授权范围、是否禁止“全自动”签名、关于AI幻觉风险自担的进一步明确等等问题。

结语

杭州法院的这份判决，为大模型创业者提供了宝贵的制度缓冲空间。它遵循了目前的法律实用主义逻辑，即法律是一种工具，服务于主流社会发展的方向。具体手段则是通过对法律的选择与解释，实现规则的落地，并完成对行业的指引。 

法官在判决书中有一句很好的点评：AI 是“辅助工具”而非“决策替代者”。开发者们，请收好这份判决书给出的缓冲垫，在规则范围内，继续勇敢的探索前行；而作为用户的我们，请保持那份珍贵的怀疑精神。

来源：金色财经