中国警方拘留了一名涉嫌使用 ChatGPT 生成假新闻并在网上传播的男子，这可能是该国首次因使用该机器人而被捕。

中国西北部甘肃省警方周日在一份声明中表示，一名姓洪的嫌疑人因“利用人工智能技术编造虚假和不真实的信息”而被拘留。

该桉件首先引起了县公安局网络部门的注意，当时他们发现了一则假新闻文章，该文章声称 4 月 25 日在当地发生的一起火车事故中有 9 人丧生。

崁峒县网安人员在百家号上发现了 20 多个账号同时发布的这篇文章，百家号是中国搜索引擎巨头百度运营的博客平台。在引起当局注意时，这些故事已获得超过 15,000 次点击。

这是自北京第一部规范“深度换脸”技术使用的规定于 1 月正式生效后，公众首次获悉中国当局逮捕了人。

该规定称为《互联网信息服务深度合成管理规定》，将深度合成定义为使用深度学习和增强现实等技术生成文本、图像、音频和视频并创建虚拟场景。

警方表示，他们追踪文章的来源是犯罪嫌疑人洪某拥有的一家公司，该公司经营着在中国南方广东省深圳市注册的个人媒体平台。大约 10 天后，一队警察搜查了洪的家和他的电脑并拘留了他。

声明说，洪承认绕过百家号的重复检查功能，在他获得的多个账户上发表文章。它说，他将过去几年中国流行的社会故事元素输入到 ChatGPT 中，以快速制作同一个假故事的不同版本，并将它们上传到他的百家号账户中。

虽然 ChatGPT 不能直接用于中国 IP 地址，但如果中国用户有可靠的 VPN 连接，他们仍然可以访问其服务。

甘肃省公安部门表示，洪涉嫌“寻衅滋事罪”，一般最高可判处五年有期徒刑。但情节特别严重的，可处10年有期徒刑，并加罚。

2013 年，中国当局将其范围扩大到被认为在网上发布和传播虚假新闻或谣言的人。

中国最高互联网监管机构长期以来一直担心，深度合成技术的不受限制的开发和使用可能会导致其被用于网络诈骗或诽谤等犯罪活动。

中国国家互联网信息办公室、工业和信息化部和公安部联合出台的中国规定称，使用深度合成技术制作的视频和照片必须“明确标注”，以防止公众溷淆。

此前，深度合成的监管分散在多个主管部门之间，但实施独立监管的举措表明，中国希望控制该技术的快速发展及其面临的监管挑战。

该技术最常见和最臭名昭着的应用之一是 deepfake，其中合成媒体用于将一个人的面部或声音换成另一个人。由于技术的进步，检测此类内容变得越来越困难，该技术现已在世界范围内用于生成假的名人色情视频、制作假新闻和进行金融欺诈。

推特、脸书等西方社交媒体平台也纷纷出台措施，检测和防止由deepfake技术产生的虚假信息传播。

随着 ChatGPT 近几个月走红，中国执法机构多次对该技术表示怀疑，甚至发出警告。

在中国安全机构对聊天机器人发表的第一批评论中，北京警方在 2 月份特别警告公众要警惕 ChatGPT 产生的“谣言”。