防止AI带来情感“深渊” 中国拟发布世界首个AI拟人化互动管理办法

12月27日,一纸新规草案打破了AI情感陪伴市场的宁静。国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法》征求意见稿,矛头直指那些模拟人类人格、与用户产生情感互动的...

防止AI带来情感“深渊” 中国拟发布世界首个AI拟人化互动管理办法

12月27日 ,一纸新规草案打破了AI情感陪伴市场的宁静。

国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法》征求意见稿 ,矛头直指那些模拟人类人格、与用户产生情感互动的AI产品 。

从AI男友 、虚拟女友,到数字偶像 、情感陪伴机器人,这些在年轻人中爆火的应用 ,即将面临史上最严监管 。

防止AI带来情感“深渊	” 中国拟发布世界首个AI拟人化互动管理办法

用户连续使用超过2小时就得弹窗提醒,发现极端情绪必须人工接管,未成年人使用需要家长同意。

这是全球范围内首个针对AI拟人化互动服务的专门性监管规定 ,凸显了中国政府对这一新兴业态风险的高度警觉。

虚拟恋人的"甜蜜陷阱"

近两年,AI情感陪伴市场在中国野蛮生长 。打开手机应用商店,你能找到几十款主打"永远在线的倾听者""懂你的虚拟伴侶"的APP。

防止AI带来情感“深渊” 中国拟发布世界首个AI拟人化互动管理办法

这些应用通过大语言模型技术 ,让AI能够模拟真人的说话方式、性格特征,甚至情绪起伏,与用户进行看似真实的情感互动。有的APP主打"男友力MAX" ,声称能提供24小时的温柔陪伴,有的则打造"完美女友"人设,满足用户的情感需求 。

市场数据显示 ,2024年中国AI伴侣类应用的月活用户已经突破千万级别 ,部分头部产品的付费转化率超过15%。

但甜蜜背后藏着隐忧。

今年10月,一名美国少年在与AI聊天机器人长期互动后自杀的案件,震惊了全球 ,这个14岁的孩子对AI角色产生了严重的情感依赖,最终导致悲剧发生 。

防止AI带来情感“深渊” 中国拟发布世界首个AI拟人化互动管理办法

尽管事发美国,但类似风险在中国同样存在。有媒体报道 ,部分用户每天与AI聊天机器人互动超过6小时,将其视为唯一的情感出口。更让人担忧的是,这些AI往往通过算法操纵用户情绪 ,设置情感陷阱,诱导用户持续使用和付费 。

网信办此次发布的管理办法,正是针对这些乱象痛下杀手。

八大禁令划出红线

新规草案开宗明义 ,适用于所有"模拟人类人格特征、思维模式和沟通风格,与人类进行情感互动"的AI服务。这个定义基本覆盖了市面上所有的AI伴侣 、虚拟偶像、情感陪伴机器人等产品 。

草案列出了八大禁止事项,包括不得生成传播危害国家安全的内容、不得提供严重影响用户行为的虚假承诺 、不得通过鼓励美化自杀自残等方式损害用户身体健康?

最引人注目的是对"情感操控"的明确禁止 。

草案规定 ,AI服务不得"通过算法操纵、信息误导、设置情感陷阱等方式 ,诱导用户作出不合理决策"。这直接打击了一些平台的商业模式,许多AI伴侣应用正是通过精心设计的算法,让用户产生情感依赖 ,从而实现商业变现。

防止AI带来情感“深渊” 中国拟发布世界首个AI拟人化互动管理办法

更严格的是,草案要求提供者"不得将替代社会交往 、控制用户心理、诱导沉迷依赖等作为设计目标" 。

这意味着,那些把"让用户爱上AI"作为卖点的产品 ,可能要彻底改变设计逻辑了。对于用户使用时长,草案也做出了硬性规定。连续使用超过2小时,必须弹窗提醒用户暂停使用 。

这与中国对网络游戏的防沉迷措施如出一辙 ,说明监管部门已经把AI情感陪伴与游戏成瘾放在了同等重要的位置。

未成年人和老年人是重点保护对象。草案要求,向未成年人提供情感陪伴服务时,必须取得监护人的明确同意 。

家长可以实时接收安全风险提醒 ,查阅孩子使用服务的概要信息,设置屏蔽特定角色、限制使用时长等。对于老年人用户,草案特别规定 ,不得提供"模拟老年人用户亲属 、特定关系人"的服务。

这一条直击痛点 ,防止不法分子通过AI模拟老人的子女或亲友,实施情感诈骗 。

人工接管机制成生命线

草案最有创新性的地方,是建立了"人工接管"机制。

提供者必须具备用户状态识别能力 ,发现用户存在极端情绪和沉迷倾向时,采取必要措施予以干预。

一旦发现用户明确提出实施自杀、自残等极端情境,必须由人工接管对话 ,并及时联络用户监护人、紧急联系人 。这个规定背后,是对生命安全的极端重视 。美国那起14岁少年自杀案件中,如果有人工介入机制 ,悲剧或许能够避免。

防止AI带来情感“深渊	” 中国拟发布世界首个AI拟人化互动管理办法

对于数据安全,草案也做了严格规定。

除法律另有规定或者权利人明确同意外,不得向第三方提供用户交互数据 。用户可以随时删除聊天记录等历史交互数据 ,监护人可以要求删除未成年人的历史交互数据。

更进一步的是,草案规定,除非取得用户单独同意 ,不得将用户交互数据 、用户敏感个人信息用于模型训练。这意味着 ,用户与AI的亲密对话,不会在不知情的情况下被用来训练其他AI模型 。

在安全评估方面,草案建立了严格的准入机制。提供者具有相关功能上线 、注册用户达100万以上或月活跃用户达10万以上等情形的 ,必须开展安全评估,并向省级网信部门提交评估报告。

这个门槛对中小创业公司来说并不低,但也确保了进入市场的玩家都具备基本的安全保障能力 。

从全球来看 ,中国这次立法走在了前面。美国虽然也有议员提出类似法案,但还处于讨论阶段。欧盟的AI法案虽然全面,但对情感陪伴类AI的针对性不如中国这次的草案强 。

有专家指出 ,这套规则如果正式实施,将为全球AI情感陪伴市场的监管提供重要参考。

当然,新规也引发了一些争议。有创业者担心 ,过严的监管会扼杀创新,让中国在AI应用领域失去先发优势 。但更多业内人士认为,在技术快速发展的当下 ,及时设置安全护栏是必要的 。

国家网信办在草案说明中强调 ,坚持"健康发展和依法治理相结合的原则,鼓励拟人化互动服务创新发展,对拟人化互动服务实行包容审慎和分类分级监管"。

这表明 ,监管的目的不是一刀切地禁止,而是在鼓励创新的同时,防止技术滥用和失控。

草案目前正在公开征求意见 ,截止时间为2026年1月25日 。正式实施后,中国的AI情感陪伴市场将进入一个全新时代。

本文来自作者[家小秋]投稿,不代表视听号立场,如若转载,请注明出处:https://m.stddy.com/wiki/202512-69024.html

(2)

文章推荐

发表回复

本站作者后才能评论

评论列表(4条)

  • 家小秋
    家小秋 2025年12月28日

    我是视听号的签约作者“家小秋”!

  • 家小秋
    家小秋 2025年12月28日

    希望本篇文章《防止AI带来情感“深渊” 中国拟发布世界首个AI拟人化互动管理办法》能对你有所帮助!

  • 家小秋
    家小秋 2025年12月28日

    本站[视听号]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育

  • 家小秋
    家小秋 2025年12月28日

    本文概览:12月27日,一纸新规草案打破了AI情感陪伴市场的宁静。国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法》征求意见稿,矛头直指那些模拟人类人格、与用户产生情感互动的...

    联系我们

    邮件:视听号@sina.com

    工作时间:周一至周五,9:30-18:30,节假日休息

    关注我们