姚志伟、沈燚：相比民事侵权，AI换脸更大的风险在公共安全方面——对“ZAO”事件的反思
一款名为“ZAO”的APP应用程序在近两天内忽然火爆全网。在昨天凌晨，“ZAO”这一关键词快速登上微博热搜榜，下载量迅速攀升至苹果应用商店娱乐软件排行榜第二位。据媒体报道，“ZAO”的投资方为“长沙深度融合网络科技有限公司”，是国内社交软件陌陌的高管所设立的。“ZAO”的功能主要是将用户的脸部与明星的脸部交换，使得用户能够享受到在电影、电视剧中担任主演的用户体验。[注1]“ZAO”在大火的同时也引发了巨大的争议，很多媒体和专业人士已经分析了其在用户隐私、版权等方面的侵权风险，其用户协议也引发了广泛的质疑。本文并不打算就这些问题再展开讨论，而是集中于“ZAO”所采取的“Deepfakes”技术所引发的风险。“ZAO”的技术原理是使用人工智能实现“换脸”。这个技术进入公众视野，是因为美国Reddit论坛ID名为“Deepfakes”的用户，在该论坛发布了许多使用该技术的换脸视频，其后这种AI换脸术也被称为“Deepfakes”。“ZAO”的出现极大的降低了普通人使用Deepfakes技术的门槛，而Deepfakes技术本身具有广泛的风险，其风险不仅在于侵犯个人权利，还在于可能导致公共安全方面的危险。
一
Deepfakes技术存在的公共安全风险
尽管在Deepfakes技术出现之前，也有技术能够实现“换脸”，例如PS技术，该技术也曾用于敲诈等犯罪活动。但是“Deepfakes”技术的出现较之前的技术在制造虚假人像和视频方面具有更加显著的优势，而这些优势使其具有更高的风险：其一，高效率。使用PS技术换脸，即使是对于技术高手而言，也需要消耗相对较长的时间；而通过“Deepfakes”技术则只要很短的时间。其二，低门槛。只要是网络用户，就可以通过互联网进行下载并且免费使用。其三，高质量。根据瑞士科学家测试，市面上“Deepfakes”技术产生的换脸视频与原视频的相似度极高，很难甄别。[注2]
这三个特点的叠加，使得普通人能够轻松地自行开展“换脸”，制作虚假人像图像和视频成本极低。在兼具高仿真与高效率的人工智能协助下，海量的换脸图像和视频可以随时产生并传播，短时间风靡互联网，从而产生广泛的公共安全风险。
“Deepfakes”技术的滥用首先将产生“信任衰退效应”，导致严重的社会信任危机。正如有学者所指出的，当公众认识到“Deepfakes”技术的泛滥使用，而又无从区分真假时，将可能形成对任何含有人像的图像和视频都产生怀疑之局面，这无疑会极大的冲击媒体和政府的公信力，对社会信任体系造成重大损害。[注3]同时，还会产生其他问题，例如在刑事案件的审理中，视频是重要的证据形式。在“Deepfakes”技术滥用的情况下，被告一方完全可以主张对其不利的视频是采用“Deepfakes”制作的，是虚假的，这无疑将导致此类证据的举证成本大大增加。
“Deepfakes”技术的滥用还会产生国家安全和经济安全方面的风险。国家安全方面，利用“Deepfakes”技术可以创造美国总统的“仿真”视频，宣称对伊朗发动核攻击，这无疑将导致公众的恐慌，甚至诱发战争。[注4]实际上，已有奥巴马、普京、特朗普、洛佩西等政治人物的虚假视频新闻出现，其中，洛佩西的虚假视频新闻在脸书（Facebook）上获得250万的浏览量，影响极广。在经济秩序方面，利用“Deepfakes”技术可以创造一家上市公司CEO宣称公司即将破产的虚假视频，我们可以想象这个视频对该公司股价的冲击。 [注5]
PS技术和“Deepfakes”技术都可以用于作恶，但两者相差巨大。PS技术就好比一把菜刀，作恶者在使用菜刀杀人作恶时，受到自身的身体能力以及对手实力等因素的制约。但“Deepfakes”技术的出现相当于将过去的菜刀升级成了机关枪，作恶者只需瞄准对象，扣下扳机，杀人作恶就可以轻易实现。如果不对“Deepfakes”技术的使用进行规制，无疑将产生可怕的后果。因此，在这种背景下，国内外都已有立法动作进行回应。
二
对人工智能换脸技术的规制立法
“Deepfakes”技术的滥用风险已经导致了立法的回应。美国加利福利亚州率先发布了相关的规制法案，[注6]要求以商业和政治上之目的使用人工智能与人进行交流或互动时，不能误导人，必须披露其是人工智能。[注7]当然，该项立法所针对的是人工智能与人的交流与互动，但其要求经营者告知人工智能的手段有利于利用Deepfakes技术制造虚假视频的规制。在美国联邦层面，有国会议员提出了相关的立法草案——《深度伪造责任法案》（DEEP FAKES Accountability Act），该草案针对的是使用“Deepfakes”等技术创造虚假电子记录进行传播，这里的电子记录是指虚假的人之音频、图像和视频。其监管的主要手段也是要求披露，即披露该音频、图像或者视频是经过技术手段修改。[注8]
2019年5月，网信办发布了《数据安全管理办法（征求意见稿）》（以下简称“意见稿”），意见稿也采取了披露作为规制手段。“意见稿”第二十四条规定：“网络运营者利用大数据、人工智能等技术自动合成新闻、博文、帖子、评论等信息，应以明显方式标明‘合成’字样；不得以谋取利益或损害他人利益为目的自动合成信息。”利用“Deepfakes”技术合成的视频新闻就在该条款的规制范围之内，其主要的规制路径就是要求披露，即披露以人工智能创造的视频必须标明为“合成”。以此，用户可以借助明显的标识“合成”，认识到被标注的视频是被修改过的视频。披露的意义在于可以使公众产生心理上的警觉，减少被误导的可能性。这个逻辑与广告法要求广告进行披露的逻辑类似。
三
我国“ZAO”应用软件的风险评价
诚如上文所述，对Deepfakes技术产生的公共安全风险，国内外都出现了以强制披露作为监管手段的立法动作。就目前“ZAO”此款应用软件而言，已经进行了披露，即生成的合成视频右下角标注了“某某（用户名）使用ZAO融合生成”，并且用了一个“换脸”的特效效果表示进行了换脸。应该说“ZAO”运营者已经采取措施进行了较为充分的披露，受众并不会被误导。同时，用户现在普遍还是将该应用软件应用于娱乐之目的，因此引发上文所言的公共安全的可能性看起来不大。 只不过，“ZAO”仍然是国内第一款采用“Deepfakes” 技术的“网红”应用软件，利用其制作的换脸视频仍然会在社交网络上进行传播，不能完全排除后续存在被滥用的可能性。因此，从风险控制的角度，“ZAO”的运营者需要注意以下二点：第一，“ZAO”的运营者仍然应该坚持现在的披露方式，并且也需采取一定技术手段防止标注信息被恶意用户所去除；第二、“ZAO”的运营者应继续对视频素材和头像进行严格审核，确保视频素材限于娱乐领域，禁止公共人物，特别是重要政治人物、经济人物的肖像上传，防止产生政治和经济方面的公共安全风险。
[1]据调查统计，近六成的被调查者无法识别改款软件的换脸效果.光谱，杜晨：《Deepfake再现进阶版：输入文字即可修改口型语音》，https://www.huxiu.com/article/303626.html， 2019年9月1日访问。
[2]See Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[3]Robert Chesney and Danielle Keats Citron.Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security ，https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3213954，2019年8月12日访问。
[4]CBS NEWS：Doctored Nancy Pelosi video highlights threat of "deepfake" tech，https://www.cbsnews.com/news/doctored-nancy-pelosi-video-highlights-threat-of-deepfake-tech-2019-05-25/，最后访问日期2019年9月1日。
[5]曹建峰、方龄曼.人工智能时代下的“烦恼”：美国国会听证会探讨“深度伪造（deepfake）”风险及对策，http://www.sohu.com/a/324367585_455313，2019年9月1日访问。
[6]目前该法案已于2019年7月1日正式生效。
[7]该法案可见于https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=201720180SB1001，2019年7月12日访问。
[8]该草案的全文See https://www.congress.gov/116/bills/hr3230/BILLS-116hr3230ih.pdf，最后访问日期2019年 7月27日。