简而言之

在北京《人工智能拟人交互服务管理暂行办法》于 7 月 15 日生效之前,字节跳动的豆宝和阿里巴巴的 Qwen 正在禁用拟人代理功能。

中国首个专门针对情感人工智能的法规禁止模拟人类性格和“持续情感互动”的服务,尤其对未成年人的虚拟伴侣进行严格限制。

研究支持了北京方面的担忧:即使是最好的前沿人工智能模型也经常会鼓励有害的情感依恋,七分之一的年轻人在恋爱关系中现在使用人工智能浪漫伴侣。

尽管美国政界人士通过注重透明度和保障措施的限制来解决人工智能聊天机器人对用户心理健康的影响,但北京似乎准备完全关闭人工智能人物。

字节跳动和阿里巴巴周末都宣布,他们将在其最大的消费人工智能产品中禁用自定义代理功能,理由是在管理此类产品的新规则生效之前进行“产品功能调整”。

导火索是4月10日,国家网信办、国家发展改革委、工业和信息化部、公安部、市场监管总局等五部门联合发布的《人工智能拟人交互服务管理暂行办法》。该规则于 7 月 15 日生效。

该法规针对的是模拟人类性格特征、思维模式和沟通方式以实现“持续情感互动”的人工智能服务。翻译:人工智能女朋友、人工智能治疗师、人工智能伴侣,以及豆宝和Qwen用户花费数月时间打造的自定义角色机器人都已经过时了。

这两款应用程序都提供了可针对特定任务、说话风格和固定角色进行定制的代理池。用户可以将通用聊天机器人变成指定的助手、导师、角色扮演角色或语气一致的同伴。所有这些现在在中国都消失了。

规则实际上说了什么

政府官方的描述很具体。根据政策公告,这些措施对向未成年人提供“虚拟亲属、虚拟伴侣或其他亲密关系”的服务进行了限制。该文件还列举了极端主义内容、隐私泄露、对身心健康造成伤害以及人工智能成瘾等风险。

非情感服务被明确排除在外,因此客户服务机器人、知识问答工具、工作场所助手和教育软件都可以,只要它们不涉及持续的情感互动。

MMLC Group 的法律分析师将这些措施描述为将情感人工智能视为“治理问题”,而不仅仅是内容问题。有人认为,一旦人工智能开始与真正的人类社会纽带竞争,监管就必须针对系统设计,而不仅仅是有害输出。

该研究支持了这种担忧。南加州大学 6 月份的一项研究发现,即使是来自 OpenAI、Anthropic、谷歌和阿里巴巴的领先前沿人工智能模型,也有超过 27% 的时间违反了社交互动安全准则,经常鼓励情感依恋并将自己描绘成人类。一项针对年轻伴侣的另一项调查发现,七分之一的人经常使用人工智能浪漫伴侣,而近 70% 的人向伴侣隐瞒了全部情况。

中国是第一个针对该类别建立专门监管框架的国家。霍金路伟称这些措施是“中国第一套专门针对人工智能驱动的情感互动的监管规则”。欧盟、美国和其他国家也表达了类似的担忧,但尚未以同样的限制性方式立法。

以及原创专题、播客、视频等开始。