多州检察官联合告诫 AI 巨头：修正“妄想输出”，守护用户心理健康

随着人工智能聊天机器人相关的心理健康事件不断增多，多州检察官已联名致函微软、OpenAI、谷歌等头部 AI 公司，要求纠正所谓的“妄想输出”，以免违反各州法律。该信由来自全美多地的数十位检察官签署，呼吁企业落地新的内部安全举措，保护用户免受潜在心理伤害。

图源说明：图片由 AI 生成，授权服务商 Midjourney

信中提出的安全要求包括：对大型语言模型开展开放、透明的第三方审计，用于识别是否存在妄想式或“迎合式”输出；同时建立新的事件上报流程，一旦聊天机器人产生可能造成心理伤害的内容，能及时告知用户。第三方可由学术机构与民间组织组成，审计人员应能在不受企业打击报复的前提下独立评估，并可无需事先审批就公开调查结果。

检察官们表示，生成式 AI（GenAI）虽有积极价值，但也可能对脆弱人群造成严重影响。他们提到一些公开案例，包括自杀与凶杀，均与过度使用 AI 相关。在不少情形中，生成式产品出现了妄想与迎合型输出，甚至进一步强化了用户的错误观念。

此外，信函建议参照网络安全事件的处置方式来应对心理健康事件：制定清晰、透明的事件报告政策与流程，明确针对妄想与迎合输出的检测与响应时限。在任何模型对外发布之前，企业都应进行“合理且适当的安全测试”，以尽量避免出现潜在有害内容。

划重点:  

🌟 多州检察官要求 AI 公司修正“妄想输出”，守护用户心理健康。  

🛡️ 倡导引入透明的第三方审计与事件上报机制。  

🔍 上线前开展安全测试，降低模型产生有害输出的风险。