日前,中央网信办开展为期2个月的“清朗·2023年暑期未成年人网络环境整治”专项行动,整治重点聚焦包括“AI换脸”“AI绘图”等在内的新技术新应用风险问题。南都记者调查发现,随着AI技术的普及,其带来的隐患在网络中广泛存在。其中,AI绘图不仅轻松生成涉及未成年人的低俗色情图片视频,AI换脸生成说话视频仅需几十元,这些新技术的产生正在给未成年人带来看不见的隐患和风险。
部分“AI绘图”涉未成年软色情
2019年,国家互联网信息办公室发布的《儿童个人网络信息保护规定》于同年10月1日执行,里面对儿童个人网络信息保护做了详细规定。其中,儿童个人信息影响最为恶劣的,是持有、传播儿童色情信息。
南都记者注意到,近期有网友反映在国内的一些视频网站上已出现了涉嫌儿童色情的AI绘图内容,声称一些博主训练AI,将女童的脸放在各种有挑逗意味的动作上,让幼童向镜头掀裙子、穿“下衣失踪装”,并附有图文。微博上,一篇强烈抨击AI绘图生成“二次元女童怀孕照”的热帖,获得了网友上万点赞。
南都记者进一步调查发现,一些视频网站正为此类AI生成的未成年软色情图片、视频提供了传播渠道。在搜索实测中,记者轻松就能搜索出很多衣着暴露、姿势带有性暗示的AI生成女性图片。如果关键词再详细一点,也不乏未成年女孩的软色情生成图片。有发布视频的人更在评论区留下图片链接,以换取观众的点赞和关注;也有的留下QQ号和联系方式用来“接单”,声称如有具体的需求,可以在绘图模型中设置详细描述词生成。
暗访中记者还发现,在电商平台上,可搜索出大量利用打着“AI绘图”“AI换脸”等旗号生成美女视频的店家。“傻瓜式操作,小白轻松上手,海量关键词描述免费使用”,一店家打着上述广告语,表示只需要输入一系列关键词就可智能生成自己想要的图片。
尝试购买后,客服会发送来云链接和提取码,其售卖内容包含SD模型包、绘画速成、变现方式及安装说明。在对方发来的图片素材和描述词汇中,不少涉及低俗色情内容,且轻松便能生成未成年少女的软色情图。此外,评论处还晒出了不少由AI生成的学生图片,这些少女看上去脸庞幼稚,姿势带有着未成年软色情的擦边之嫌。
多个商家在页面上宣称,支持面容转换一步到位
“AI脱衣”技术盯上学生群体
今年3月,一则“女子地铁照被AI一键脱衣”的消息冲上微博热搜。照片上的女子是一名博主,在社交平台发布了一组在地铁上拍摄的穿搭照片,却被人用AI软件“一键脱衣”,故意在网上散播。对此,该博主表示会采取相应的维权措施,并希望能够引起人们对于隐私权和个人形象保护的关注。
其实,“AI脱衣”的危害甚至祸及未成年人。记者通过商家了解到,部分AI绘图软件同样支持一键脱衣。一名卖家声称自己“资源众多”,不仅售卖绘图软件,还有海量图片素材,在网页详细地将图集分为“二次元”“国风”“动漫”“机甲”等多个种类,在对方介绍的图片素材中,出现了“女孩”“少女”等多个字眼。还有商家表示专门售卖“AI绘画校服写真”的图片素材,形象为穿着校服的女学生,却衣着暴露、表情挑逗。
有商家售卖“AI绘画校服写真”的图片素材,形象为穿着校服的女学生
这些提供“AI脱衣”相关技术或服务的商家,有的会通过隐藏的地址逃避监管,输入验证码后方可查看;还有的需要先关注某公众号,再发送暗号两字获取验证码;或者是通过客服咨询,在对话中对方提供网页链接,通过链接下载最新版的APP。记者实测发现,对于这些软件下载,未成年人无需进行身份识别,输入关键词找到渠道便可轻易操作。
生成换脸说话视频仅需几十元
除了生成低俗色情图片视频外,这些新技术也容易在其他渠道上带来风险和隐患。
随着“AI换脸”越来越广泛的传播,许多网友提出警示,人贩子有通过盗取家长的面容、声音信息,在未成年人单独行动时,用视频电话AI换脸冒充家长,引导未成年人脱离人群,实施诱拐的可能。记者在短视频平台进行检索,会弹出大量相关的短视频广告,下附AI换脸软件的链接。在一款叫“AI随拍”软件的链接后,各式各样的明星、素人短视频浮现在主页上。只需观看25秒的广告,就可以用这款APP免费制作一个十多秒的视频。通常,这些短视频下方都附有下载链接,广告流量可观,很多视频评论过千,转发量过万。
除此之外,记者在电商平台上搜索发现多个商家页面,支持面容转换一步到位,月销量数百乃至上千。有客服向记者表示,其售卖的是一款软件,无论是图片或是视频都支持一键换脸,售卖价格仅几十元。
专家:
压实平台主体责任
探索消费者集体诉讼制度
对此,中国互联网协会法工委副秘书长胡钢认为,人工智能,特别是以ChatGPT为代表的生成式人工智能,已经引发新一轮颠覆性技术革命,并给全人类带来巨大机遇和强劲挑战。而近年来,我国先后发布的《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等,就是对人工智能法律体系的细化完善。
中国社会科学院大学互联网法治研究中心执行主任刘晓春则认为,传统对于软色情等不良信息治理更多基于传播端的控制,比如禁止传播或者限制传播,有专门的内容生产者,用户只需要获取再进一步的传播。“而现在的难题恰恰在于AI技术能使内容生产变得非常简单,不需要专业的人士和机构,每个人都能成为生成者,那么以前对于传播环节的控制就有点失灵了。”
刘晓春表示,现在要做的,除了沿用传统对不良信息传播端口的控制,还要转变为对技术工具本身、包括对技术工具开发过程的干预和控制。“比如在一些高风险场景下,要求这些AI工具提供标识,在生成的图片视频中标明合成及非真实的,或在AI工具中插入隐性标识,能够追溯特定的工具和使用用户。”而治理的重点,要针对一些关键环节去介入,比如能获取这些不良信息的电商平台、APP应用市场、包括直播间等,对其进行严格的控制及作出相应的处罚,压实平台责任主体。
而此次中央网信办专项行动聚焦的七大重点之一,即剑指新技术新应用风险问题,包括利用“AI换脸”“AI绘图”“AI一键脱衣”等技术生成涉未成年人低俗色情图片视频等。“说明问题已经凸显出来,引起了有关部门的重视,并把它作为重点打击的对象。”刘晓春说,希望有关部门能有一些更创新的治理举措,并针对性地采取举措,“相信总体还是可控的。”
关于国内人工智能治理与维权,胡钢表示,要深化消保组织和检察机关消费公益诉讼机制,探索建立消费者集体诉讼制度,进一步完善行政监管、民事公益诉讼、民事私益诉讼、综合调处衔接协调机制,构建及时、高效、一体化、网络化的消费纠纷解决机制。
🏃🏃🏃
*有什么想说的,欢迎给我们留言哦*
👀
南方都市报(nddaily)、N视频报道出品:南都记者帮采写:南都记者 张思琦 实习生 姚楚翘
✪ 触目惊心!4岁男童脚趾当场被夹断,事发深圳一商场
✪ 深圳人,快抬头看!
✪ 超级脏!近期深圳很常见!疾控部门提醒:千万别碰
更多独家猛料,点击下方关注我们
▽
点击左下角下载 N视频
点个“赞”和“在看”呗!👇👇