查看原文
其他

被“偷走”的脸

剥洋葱 剥洋葱people 2023-07-28

“声音是我妈的,我不可能听错。号码是我妈的,我不可能看错。”报警后,他才从警方那里得知,这是一种新型的诈骗方式,诈骗团伙利用技术合成了母亲的声音,又使用技术复制了一串和母亲号码完全一样的虚拟号码打来电话。


2023年6月2日,互联网上售卖的AI换脸软件页面。据媒体报道,近日,因“AI换脸”导致的诈骗案件引发关注。图/IC photo


文丨新京报记者 汪畅‍‍‍‍‍‍‍‍‍‍‍‍‍‍
实习生丨邹冰倩‍‍‍
编辑丨陈晓舒
 校对丨贾宁‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍


本文7449 阅读13分钟


视频里那张脸正对着镜头,几乎不动,脸上的表情和平常没什么不一样。


7秒视频通话后,济南人方杨宥就给对方指定账户转了30万。等到报了警,他才知道,原来视频里那张熟悉的脸是“假”的,屏幕另一端根本不是自己的亲戚,而是诈骗人员利用AI技术合成的影像视频。


这桩发生在今年5月的AI诈骗事件,并非孤例。山东省商河县公安局刑警大队中队长张振华向新京报记者介绍,随着深度合成技术的开放开源,深度合成产品和服务逐渐增多,利用“AI换脸”“AI换声”等虚假音视频进行诈骗、诽谤的违法行为日益增多。此前,已有哈尔滨、福州等多地警方通报过有关AI换脸的诈骗事件。


北京市社会科学院法治研究所副所长、副研究员王洁长期从事反电诈研究,他认为,步入人工智能时代,人脸和声音已经成为一种亟须保护的信息。然而当下随着AI技术发展,利用AI换脸技术进行诈骗、造谣、侵犯肖像权或知识产权的行为屡屡发生,这意味着技术正被滥用,人脸这一重要信息极易“丢失”。


AI实时换脸技术发展的同时,也在迅速“平民化”。新京报记者调查发现,AI实时换脸技术在多个平台以百元左右的价格售卖,其中一位商家表示,368元便能购买其自己研发的实时换脸程序,50年内可以无限次使用。可观的利益驱动着AI灰色市场的发展,有商家自称月收入高达20万元,他宣称自己什么视频都能做,任意将一张脸换至色情视频里,也仅需150元一分钟。


“我们的未来一定是会和AI共存共生长的”,王洁说,这意味着人类也将和AI相关的侵权事件共生共存。如何让技术向善发展,成为当下一个非常重要的问题。



AI骗局

视频连线只持续了7秒,看着屏幕里那张熟悉的脸,听着手机传出熟悉的声音,方杨宥相信了这个刚刚添加自己为好友的新账号所说的——他确实是自己的亲戚,30万元就这样转账到了对方提供的银行账户上。


“结果一切都是假的。”2023年6月底,商河县公安局刑警大队中队长张振华向新京报记者介绍了这个案子,“这就是近期流行的‘AI诈骗’,一种利用智能AI技术实施诈骗的诈骗手段。”


事情发生在今年5月29日。济南人方杨宥在家刷短视频时,突然收到一条陌生人发来的消息。对方自称是方杨宥的亲戚,他发来一串新的QQ号,希望方杨宥添加。刚一加上好友,对方就给方杨宥拨来视频电话,7秒的视频连线有些卡顿,但那张熟悉的脸和那个熟悉的声音,让方杨宥相信确实这就是自己的“大哥”。


没说几句话,对方就以网络质量不好为由,将视频挂断。在随后的文字聊天中,这位“大哥”称自己急需转一笔钱,但没法直接打款,想要先转账给方杨宥,然后拜托他帮忙转到指定的银行卡里去。


“那边急用,你现在马上安排过去。”两张成功转账的截图是发来了,可方杨宥一直没收到这笔款项。“大哥”将原因“甩锅”给银行,“那应该就是24小时到了,银行的信息不会错。”以着急用钱为由,“大哥”反复催促方杨宥先行垫付。


经不住一再催促,方杨宥向其指定账户转账了30万元。没过多久,对方又让方杨宥再转35万元。这时,方杨宥猛然想起曾经看过的反诈宣传,赶紧打电话给自己的亲戚,这才知道,一切都是假的。


济南人方杨宥遭遇的AI诈骗,7秒视频后,他给对方指定账户转账30万元。来源:“济南公安”微信公众号


当晚,方杨宥便报了案。根据转账卡号的流水,张振华和同事们发现该银行卡在广东的一家金店有过消费。次日,商河刑警便奔赴广东东莞,抓获了犯罪嫌疑人谢某等三人。之后,又有三名犯罪嫌疑人被警方抓获。

在后续的调查中,警方发现,这起AI诈骗真正的源头在缅北。境内的这伙人,是一个专门帮助境外诈骗分子进行洗钱的犯罪团队,他们分工明晰,买金、打款、对接上线等都由不同的人操作。目前他们因涉嫌帮信罪,正在接受后续调查。

事实上,利用AI技术进行诈骗的案例已在全国多地发生。王洁第一次知道AI诈骗,是在2019年,当时一位留学生看到诈骗人员利用技术合成其父母的视频之后,便信以为真。此前,已经有哈尔滨、福州等多地网警通报过有关AI换脸的诈骗事件,他们的手段并非完全相同。

5月20日,包头市公安局的官方微信公众号“平安包头”发文称,今年4月,因犯罪团伙使用AI换脸技术,通过视频聊天的形式获取了受害者的信任,使其在10分钟内给骗子的指定账户打去430万元。受害者报案后,包头市警银联动,成功紧急止付涉嫌电信诈骗资金330多万元。

6月15日,“大连市银行业协会”的官方微信公众号也发文称,诈骗人员获取了一位男士的身份证影像信息后,通过AI技术手段合成了短视频,并使用该视频成功应对了银行大额资金转账时的人脸识别验证,将其卡中的定期存款销户,随后转出部分资金。好在这位男士对银行非柜面渠道设置了日累计交易限额,超限额部分资金无法实时转出,有效避免了部分资金损失。

也有诈骗人员盯上的是“声音”。

2022年,律师马俊哲在短视频里自曝被电信诈骗3万元的经历。骗子使用AI技术,合成了马俊哲母亲的声音,假冒其母亲的身份给他打去电话,称其父亲因出车祸而骨折,急需3万元的医药费,希望马俊哲将钱打入她朋友的账户。

就在转钱的那一刻,马俊哲发现这个银行卡归属地并非父母的所在地,马俊哲立刻回拨了母亲打来的这串电话,经过母亲确认之后,马俊哲又给父亲打了个电话,但是父亲电话打不通。他以为父亲正在做检查,便直接将钱打了过去。

可次日马俊哲再次给母亲打电话时,母亲却说没有这一回事。马俊哲百思不得其解,“声音是我妈的,我不可能听错。号码是我妈的,我不可能看错。”报警后,他才从警方那里得知,这是一种新型的诈骗方式,诈骗团伙利用技术合成了母亲的声音,又使用技术复制了一串和母亲号码完全一样的虚拟号码打来电话,并使用技术手段在行骗期间将亲属号码屏蔽,让他们切断联系,从而增加骗钱的可信度。

方杨宥报案后,商河刑警奔赴广东,将涉嫌帮信罪嫌疑人谢某等3人抓获。目前该案正在进一步侦查中。来源:“济南公安”微信公众



谁在“丢脸”
‍‍‍


“AI诈骗的背后,还是人们的信息泄露问题。”王洁说,随着人工智能时代的到来,人的脸和声音也成了一种可以获取利益的信息,很多人在不知不觉中就“丢了脸”。人脸信息作为个体生物信息,属于敏感个人信息,具有直接识别性、独特性和唯一性,一旦泄露会令信息主体人格尊严受到侵害或人身财产安全受到伤害,其危害性较一般个人信息泄露更为严重。


安徽人潘子平亲身体验过,仅需几秒钟的视频通话,自己的人脸信息就丢失了。


3月24日晚上,潘子平在手机上看仙侠小说正着迷。翻页时,他误触了一旁的广告,一款游戏开始在手机后台自动下载。下载完成后,潘子平点开看了看,也是一款和仙侠有关的游戏,他玩了一会儿觉得没意思,便直接卸载了。


几秒钟之后,一个来自境外的电话拨了过来,对方说已经获取潘子平手机里的所有信息,包括相册和通讯录,要加QQ详谈。潘子平没想太多,便添加了好友。刚一加上,一个视频聊天直接打来,对方的脸始终没有出现在镜头前,一个男声简单报了几个潘子平通讯录的人名,便挂断视频。


虽然两个电话都没有提到钱的事,但潘子平心里开始有所警惕,他立刻将钱提现至银行卡,并将银行卡与支付宝和微信解绑。


没几分钟,一条QQ消息发来。这次是一段视频,约有十几秒,画面里是一个赤身裸体的男子,他头上顶着潘子平的脸,正在做一些不雅的动作。潘子平惊呆了,“现在的技术都已经这么厉害了吗?”还来不及反应,电话又来了,“你给我三万八,否则我就把你的‘小视频’发给你通讯录里的所有人。”


对方还发来一张截图,这段视频已经在对话框准备就绪,只要点击发送,潘子平通讯录里的亲朋好友就能收到。视频再次打来时,对方开启了屏幕共享功能,潘子平将支付宝和微信余额展示给对方,说自己拿不出这么多钱,双方便从三万八开始砍价,砍到两万八、一万八,直至八千元,潘子平也说自己拿不出来。之后,对方便开始指使潘子平打开借呗等网贷平台,企图让潘子平通过借网贷的方式给他们钱。


就在转账前一秒,潘子平幡然醒悟,他立刻挂断视频,拨打110报警。由于未造成实际损失,警方并未立案。潘子平问警察,那段利用AI技术实时换脸的淫秽视频怎么办?警方也无法将这段视频销毁,只能告诉他,编辑信息群发给通讯录告知此事。



潘子平认为,就是那款游戏让自己的信息泄露,他赶紧检查每项APP的手机权限,以免再次遇到“危险”。


在王洁的调研中,不乏有人因阅览不正规网站而丢失个人信息,乃至遭到诈骗。他指出,要采集人脸信息,对于现有技术而言是一件非常简单的事情。遍地可见的摄像头、手机里因身份验证而做的面部检测、拥有相册读取权限的APP等,都在悄无声息地获取人脸信息。


济南人方杨宥遭遇的AI诈骗,对方仅和他视频通话7秒。来源:“济南公安”微信公众号‍


2021年,《焦点访谈》曾报道,在公安部“净网2021”专项行动中,合肥市公安局网安支队联手包河分局打掉一个犯罪团伙,该团伙非法利用AI人工智能技术,伪造他人人脸动态视频,为黑灰产业链提供注册手机卡等技术支撑。犯罪嫌疑人电脑中有10G左右的人脸数据信息,这些信息在网上转手多次,而它们的主人对此毫不知情。


活跃在屏幕上的明星网红,相比普通人则更易丢失脸部信息。2021年8月,刘昊然工作室发布声明称,由于网络上出现大量用AI换脸技术对演员刘昊然进行侮辱的视频、视频截图及含有侮辱诽谤言论的聊天记录,上述视频、截图还被不断贩售,工作室向警方报案。近期,还有商家利用AI换脸技术,将演员迪丽热巴和杨幂的脸部特征应用到他们的电商平台直播间。


拥有130万微博粉丝的网红“Caro赖赖”,则因AI换脸技术,陷入了黄色谣言的困境。今年4月她在微博发文称,她的脸被盗用在一些淫秽视频里。有人在境外社交平台上冒充其身份注册了账号,先是搬运她的日常内容,等粉丝人数差不多时,就开始以会员订阅的方式贩卖这些顶着她的脸的色情视频。


“AI技术存在被人类滥用的情况。”华东政法大学刑事法学研究院院长、上海市法学会刑法学研究会会长刘宪权认为,如今人们已经走入“弱人工智能时代”,即技术仍是被人类使用的一种工具。随着人工智能技术的发展,侵权事件屡屡发生,除了诈骗、造黄谣之外,还有不少人们肖像权、知识产权受到侵害的案例。



“护脸”难题


技术持续更新换代,大众接触到AI实时换脸技术的门槛日渐降低。


早在2019年,就有一款名叫“ZAO”的AI换脸APP走红,用户只需提供一张照片,就能成为影视剧中的角色。但没过多久,因涉及侵犯版权、隐私等方面的问题,这款APP就被下架。


“事实上AI换脸技术本身没有问题,关键是使用方式。”刘宪权说,一旦技术被滥用,就隐含了巨大的风险。于2023年1月10日施行的《互联网信息服务深度合成管理规定》中也提到,提供深度合成服务,应当提供显著标识功能,并提示深度合成服务使用者可以进行显著标识。深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的,应当提示深度合成服务使用者依法告知被编辑的个人,并取得其单独同意。


然而AI实时换脸技术,仍在互联网上悄悄贩卖,这为“显著标识”以及“告知被编辑的个人”增加了难度。


以“AI换脸”为关键词在淘宝平台上检索,并无产品出现。但若替换为“AI换头”“AI换人脸”等相近词语,即可检索到产品。对照片进行换脸的售价在35、50、100元不等,而视频换脸则以分钟计费,收费为一分钟70元、150元、400元不等。


“可以换成任何人的脸”,店家“工程师老张”称,只需客户提供原视频和任意一张人脸照片,就能实现百分之百无痕换脸。不但能与当红明星更换面孔,还能让已去世的故人在视频中“复活”。


“工程师老张”不仅提供AI换脸服务,还教换脸技术。“可以在我们这儿买程序,自学自做”,他宣称自己研发了算法进行换脸,并将相关程序插件在淘宝平台售卖,价值368元。程序采用卡密激活的方式,产品有效期50年,其间可以无限次使用该程序。


若想将脸换得更加自然,多位商家均表示,需要买家提供与原照片相近或完全相同角度的人脸照片。不过也有一位商家表示,只需要买家提供一张正脸的照片,他们便能做到“以假乱真”的效果,“我们根据正脸照片自动建模,就可以算出另外几个角度的样子。”


不少商家会引导用户添加微信详谈。新京报记者加了店铺“杰伦视频设计站”老板的微信,截止今年7月,该商家售卖产品在淘宝的月销量显示为23,但在聊天过程中,对方为说服新京报记者下单,屡次强调其营业收入一个月20万。他还展示了自己的支付宝截图,显示总资产16万元。咨询当日下午14点36分,该商家表示,当日营收已经将近1000元。


淘宝商家“杰伦视频设计站”引导新京报记者添加微信,他朋友圈里,都是AI换脸的相关案例。网页截图


这位商家自称是AI实时换脸领域的高手,发布的朋友圈均为相关案例。5月9日,他在朋友圈发布了一条19秒的视频,一位女主播穿着露肩上衣和超短裙,搭配着黑色丝袜,对着镜头扭动舞蹈,她的脸看起来和明星杨幂别无二致,唯有在低头、侧身时,画面看起来不太协调。


他告诉新京报记者,普通视频收费为70元一分钟,色情视频收费为150元一分钟。他展示了一张截图,里面均为淫秽图像和视频,而后又迅速撤回。当新京报记者询问是否均为换脸视频,他回答称,“不要问那么多,跟你说能换就行了,不宜多说。”


新京报记者调查发现,上述商家确实在两小时内就能依据客户需求,成功制作一条一分钟的换脸淫秽视频,完成交易。交谈间,他多次撤回他认为“敏感”的信息,从未提及要告知“被编辑的个人”,而后发来的视频,也无任何关于AI换脸的标识。但该商家附带发送一段“免责声明”,称“任何图和视频资料禁止传播,任何后果与制作方无关,仅供娱乐,本人不对图片和视频用途负责,不承担任何责任风险。”


一名淘宝商家向新京报记者展示了一份截图,上面均为淫秽色情图片或视频,以此证明自己“什么视频都能做”。记者调查截图‍


除了淘宝之外,抖音也有多款AI换脸软件产品,售价在1元至196元不等。此外,小红书平台也有售卖AI换脸课程的账号,这些账号通过发布AI换脸视频,配上“最近很火”“快速学会”等文案,引导用户关注和购买。


也有的AI换脸软件是免费的。在抖音以“AI换脸”为关键词进行检索,会弹出大量相关的短视频广告,下附AI换脸软件的链接。在一款叫“AI随拍”软件的链接后,各式各样的明星、素人短视频浮现在主页上。只需观看25秒的广告,就可以用这款APP免费制作一个十多秒的视频。


“就像人们买刀一样,难道买刀杀人之后,怪这把刀或者卖刀的人吗?”北京市华城律师事务所合伙人甘仕荣指出,技术本身没有问题,关键在于使用者是否做出违法行为,如恶意丑化,涉嫌侵犯他人的名誉权,出售换脸色情视频,涉嫌制作、传播淫秽物品,可能构成刑事犯罪等。只是,任意售卖这一技术,增加了违法风险,也加大了执法监督的难度。




怎样保护我们的“脸”


“AI的出现,让原本就易受骗的人群更容易上当了。”王洁说,AI只是一个工具,诈骗人员将其用来增强骗局里的可信度,从而提高他们诈骗的成功率。随着网络成为人们生活的一部分,AI换脸骗局不仅是侵占他人财产那么简单的事情了,刘宪权认为,这一技术若再发展下去,诈骗方式将更加逼真和多样,让人们防不胜防。


根据张振华的办案经验,目前的AI诈骗案件中,这一技术并不是“完美”的,如果视频通话时间长一些,或者将脸放置于复杂、不稳定的场景中,就可能露出蛛丝马迹。然而人们在紧急状况下,面对熟悉面孔和声音,很难多次对声画进行试探和观察。


两位专家均表示,要针对AI侵权事件进行维权,并非一件易事。刘宪权指出,目前在法律层面没有关于AI技术使用和发展过程中的相关规制。


王洁则认为,当利用AI技术进行电信网络诈骗等侵权事件已经发生,再去追究的难度太大。他曾调研过多位反诈警察,当他们花费大量时间和金钱之后,却发现犯罪源头在境外。对于受害人而言,也不是所有人都能付出足够的时间、金钱和精力去追究侵权事件的责任。


淘宝平台上,依然有商家对AI换脸技术进行售卖。网络截图


潘子平的脸被盗用在黄色视频后,由于没有被骗钱,报警后没有立案。他既找不到是谁盗用了他的脸,也无法让对方停止传播,只能编辑一条短信群发给每位好友,提醒他们不要传播,也不要相信视频内容。


“一心只想化妆的阿蕾”是小红书平台上拥有两百多万粉丝的美妆博主,她发布了很多国风妆造的图片。去年4月,她发文自述称其主页视频被盗用至换脸APP成为换脸模板。她并不清楚是谁上传了这些模板,“一个APP可能有几十个甚至上百个上传者,这给维权增添了不少难度。”


“我没那个钱和精力去搞,这不是我的原罪。”有人在评论区提醒她维权,她无奈道,维权首先要从起诉APP开始,定位到每位上传者,再起诉个人,这样的时间和金钱成本都很高,前后时间线拉得很长,胜诉得到的赔款却没多少。


“核心问题是个人信息保护。”王洁认为,诈骗事件背后都存在个人信息泄露的情况,随着深度伪造技术不断更新换代,保护人脸等个人隐私成为不可轻视的问题。因此公安机关在查案办案时,应该更加关注信息泄露的渠道,从源头来进行治理。政府应该加强对个人信息保护的监管,而APP开发商运营商等各环节也应该共同协力,在人脸信息的存储、读取、使用、清除等方面依法管理,促进企业个人信息保护合规自律。


人工智能技术飞速发展,刘宪权提出应该探讨如何做到违法侵权的事前防范。他认为,目前人工智能技术还未发展到成为独立责任主体的地步,技术仍是一种被人利用的工具,只是因其有一定的智能部分,被不法分子利用时可能加大对社会的危害。因此,除了完善对于新技术的相关法律法规,还应该对于人类使用和发展该技术的过程进行相关限制,比如某一领域是否准入,又有什么人可以使用相关技术等。


与人工智能技术相关的法律法规也在不断完善。4月11日,国家网信办发布了《生成式人工智能服务管理办法(征求意见稿)》,对提供生成式人工智能服务做出较为详尽的规定,其中包括准入资格、内容生产者和个人信息处理者等各方责任义务和相关处罚措施等。


“我们的未来一定是会和AI共存共生长的”,王洁说,这意味着人类也将和AI侵权事件共生共存。他认为,今后的立法要及时关注技术发展过程中出现的新现象和新问题,普通网民要提升对网络高风险的认识,而执法监督部门则更应加快技术升级,研发“反换脸”等检测技术,利用人工智能技术提高办案能力。


他说,“唯有全社会各方通力合作”,才能让技术向善发展。


(方杨宥、潘子平为化名)



━━━━━━━━━━━━━━━

最近微信改版
经常有读者朋友错过推送
星标🌟“剥洋葱people”
及时接收最新最热的推文

━━━━━━━━━━━━━━━
洋葱话题
 你对此事怎么看? 

后台回复关键词 “洋葱君” ,加入读者群

推荐阅读

被网暴后的清华选美冠军

湖北随县博爱特校性侵案调查

从热到冷,产科谋变


有你“在看”,我们会更好

您可能也对以下帖子感兴趣

“张文宏”深夜带货?紧急提醒:已有多人上当【930新闻眼】
上海人惊讶!“张文宏”开始深夜带货?已售出1266件…紧急提醒→
微信出手:账号关闭!永久封禁!【930新闻眼】
AI 换脸存在哪些风险和乱象,普通用户该如何有效识别反诈?(附.新华网AI换脸声音大全)
张文宏,还是没躲过

文章有问题?点此查看未经处理的缓存