妙鸭相机被质疑“太霸道”背后，生成式AI要注意哪些风险？
“
虽然妙鸭承诺用户所上传的照片只会用于数字分身制作，不会提取也不会用于识别和其他用途，且分身制作完成后自动删除，但受访专家认为，妙鸭还需在相关文件中进一步公开其处理个人信息的目的、方式和范围，明确用户行使权利的具体渠道。同时，监管机构也要做好监管。
本文字数4733，阅读时长约14分钟
文｜财经E法 樊瑞
编辑｜郭丽琴
近期，9.9元生成的AI写真突然刷屏了不少人的朋友圈，也再次带火了“生成式AI”这一概念。
“妙鸭相机”微信小程序，是一款可以在线生成专业质感照片的AI相机，7月17日正式上线。用户上传20张照片后，即可拥有专属数字分身，选择相应写真模版后，就能生成媲美专业摄影馆的写真，且仅需花费9.9元。
上线仅一周，就因大量用户计入服务器暂缓。但伴随火热的市场反馈，也带来了诸多争议。
7月26日，上海市消保委通过微信发布题为《太霸道！网红妙鸭相机不支持退款！连上海市消保委也找不到这家公司 | 消保委监督》的文章。上海市消保委发文批评妙鸭相机，认为其付款页面上显示的“一旦购买成功，不支持退款”涉嫌侵害消费者的公平交易权。此外，上海市消保委查询了该小程序的注册公司为未序网络科技（上海）有限公司，所留电话不是无人接听就是空号。
当日下午5时许，妙鸭相机通过官方微博进行回应，表示如果因为技术问题造成数字分身生成失败，可以退款。
此前的7月20日，妙鸭就因舆情，调整被指“强势”的用户服务协议相关争议条款。
实际上，妙鸭相机的问题可能不止于此。据受访专家介绍，妙鸭相机的主要法律风险在于数据安全和数据隐私风险。
27日下午，阿里文娱向财经E法回复表示，妙鸭相机是阿里大文娱集团投资孵化的内部创业项目。经营主体是未序网络科技（上海）有限公司。
天眼查显示，妙鸭相机运营方是“未序网络科技（上海）有限公司”。该公司的法定代表人、执行董事、总经理均为张龙，张龙同时也担任优酷视频（西安）传媒科技有限公司的法人、执行董事、总经理。
融资信息披露，2023年3月1日，阿里文娱投资未序网络，但并未披露该天使轮融资额度。财经E法拨通天眼查上显示的“未序网络科技（上海）有限公司”工商电话，对方表示自己为阿里文娱，且并不清楚妙鸭相机这一项目。
01
不支持退款“太霸道”？
妙鸭相机官方微信公众号显示，公司力图让每个人都拥有一个AI摄影师。
自6月30日开始邀请用户进行内侧，在数千人试用之后，7月17日正式通过小程序上线。短短几天，就波折不断。
妙鸭相机软件通过AI学习用户上传的照片来构建人脸模型，然后把人脸模型套用其他模型合成照片（简单来说就是AI获取人的五官后，给五官P上新的发型、妆容、衣服、场景来合成一张新的照片）。只要上传完照片，就能产生多种风格的写真。
上海市消保委表示，翻完该小程序的服务协议，并没有找到退款相关条款。唯一跟退款相关的只有在支付下方的一行小字：一旦购买成功，不支持退款。
上海市消保委点评表示，支持并鼓励新技术催生新场景创造新需求，但企业在新技术的商用过程中也应该重视消费者权益。
上海市消保委认为，妙鸭相机在付款页面以灰色小字标注的“一旦购买成功，不支持退款”涉嫌侵害消费者的公平交易权。
北京航空航天大学法学院副教授赵精武对财经E法，该条款无效，该条属于《民法典》所规定的格式条款，属于减轻、免除妙鸭责任之情形，严重损害消费者的合法权益，并且《消费者权益保护法》第26条明确要求经营者应当以显著方式提请消费者注意与其存在重大利害关系的内容，并按照消费者的要求予以说明，“概不退款”条款显然不符合该规定。
《消费者权益保护法》第二十六条第二款规定：经营者不得以格式条款、通知、声明、店堂告示等方式，作出排除或者限制消费者权利、减轻或者免除经营者责任、加重消费者责任等对消费者不公平、不合理的规定，不得利用格式条款并借助技术手段强制交易。
针对“概不退款”这一问题，妙鸭相机公开回复表示，妙鸭相机提供的是基于算力的服务，因此照片生成后即视为服务完成。妙鸭郑重承诺，如果因为技术问题，造成数字分身生成失败，可以退款，而且免费再次生成。
妙鸭还表示，由于下载照片涉及虚拟币充值，虚拟币和现金目前只能单向流转，充值协议已进行明确约定，因此目前不支持退款。
02
“强势”用户协议被删改
早在上线之初，妙鸭“强势”的用户协议，已备受诟病。在上线第三天，妙鸭就宣布修改用户协议内容，承诺用户上传的照片只会用于制作数字分身。
此前的协议为：“除了本条款授予我方的任何其他权利外，您特此授予我方在全世界(包括元宇宙等虚拟空间) 范围内享有永久的、不可撤销的、可转让的、可转授权的、免费的和非独家的许可，使得我方可以任何形式、任何媒体或技术(无论现在已知或以后开发)使用您的内容。”
海问律师事务所合伙人傅鹏指出，这一协议条款确实有可商榷之处，《个人信息保护法》要求处理个人信息应当遵循合法、必要原则，应当具有明确、合理的目的，并应当与处理目的直接相关，采取对个人权益影响最小的方式。上述协议条款约定对法律要求形成了偏离。
他进一步指出，APP或小程序的用户协议和隐私政策，需要在发布前经过仔细的起草和慎重的审查，需要按照监管规定的要求起草条款。尤其是，我国颁布了一系列部门规章、国家标准、行业指导文件，对隐私政策的起草与完善提供了非常详尽的指导与要求。
傅鹏还提醒，企业起草一份更为合规、合理的隐私政策及用户条款后，文本体现的描述应当与服务提供者实际的做法（特别是对个人信息的实际处理活动）相一致，避免“写一套、做一套”。
最新的协议显示，妙鸭承诺用户所上传的照片只会用于数字分身制作，不会提取也不会用于识别和其他用途，且分身制作完成后自动删除。
但赵精武认为，这个协议并不足以保障用户安全。他指出，协议的主要目的是为了让用户了解自己的照片会被用于何处，以及妙鸭所应当承担的约定义务。保障该协议的有效实施还需要妙鸭在协议中进一步明确用户行使权利的具体渠道，例如主动告知用户上传照片何时已经完成数字分身制作、何时已经彻底删除以及自动删除是否包括后台数据库内所有照片的删除等。同时，也需要监管机构定期对妙鸭的照片处理活动进行监管，定期或不定期抽查妙鸭的数据安全义务履行情况。
03
生成式AI带来敏感个人信息泄露隐忧
妙鸭相机的火爆，也引发了公众对于生成式AI应用风险的担忧。
7月22日，妙鸭相机通过官方微博强调，唯一官方产品渠道是“妙鸭相机”微信小程序。原因是，现在应用商店已出现多个疑似模仿妙鸭相机的APP、小程序。以苹果商店为例，已出现类似“美鸭相机”“趣颜—妙鸭相机”“懂AI—妙鸭写真”等多个类似的应用程序。
在妙鸭相机生成照片需要三个步骤：制作数字分身、生成写真、精修写真。第一步需上传20张以上包含人脸的合格照片，还需要支付29.9元（限时优惠为9.9元）费用才能真正开始制作数字分身。
第二步用户可以使用“生成写真”功能，选择喜欢的模版，将自己的数字分身生成各种风格的照片。
第三步是精修写真。如果对生成结果不满意，用户还可以点击“我想更像我一点”，重新生成。
傅鹏表示，从法律合规规制的角度来说，这一产品外观上看，不是传统的简单磨皮、换背景，因此可能落入生成式人工智能服务的范围，也属于《互联网信息服务深度合成管理规定》所监管的利用深度合成技术提供的服务。
傅鹏进一步指出，目前《生成式人工智能服务管理暂行办法》（下称《暂行办法》）监管的是利用生成式人工智能技术提供服务的活动，而该技术是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术，所以在监管的技术标的的范围方面较为宽泛。只要是具有生成能力的“模型及相关技术”即可；在生成的结果形式上也明确包含了“图片”。所以这一规则可以包含妙鸭相机目前的服务形态。
财经E法在7月26日下午体验时，首先需要通过微信和手机号同时才登陆妙鸭相机的小程序。
在上传带有墨镜的个人照片时，不被识别，系统提醒上传“有效照片”，并提醒上传半身照效果最佳，建议多光线多背景、多视角、多表情。
重新提交合格的20张照片后，支付9.9元的制作数字分身费用后，进入等待数字分身制作过程。财经E法体验发现，前面还有1234人正在制作数字分身，预计需要等待6小时36分。
为什么需要收集这么多照片？背后原理是什么？傅鹏解释指出，类似的图片或视频编辑应用可能都存在类似的问题。这些应用的提供者，为了实现较为良好的生成结果，会倾向于多收集用户图片或视频片段。
朝阳区居民阿珊向财经E法反馈，看到大家在朋友圈发妙鸭相机生成的照片，很想尝试。但在体验中发现需要上传20张照片，这一要求直接将其劝退，“向一个APP里传这么多我的照片，感觉很不安全”。
安全隐患也是受访专家普遍提及的问题。
赵精武表示，因为现在微信和手机号均实施的是实名制，加上收集这么多照片（每人20张），已经构成了个人信息，后台数据库用户账号信息和个人照片匹配，这一组信息构成个人信息。因此，赵精武认为，存在数据泄露、内部员工擅自对外非法出售、超期留存、超范围使用等安全风险。
傅鹏指出，更为重要的是，为了实现较好的生成结果（而非以往较早以前那种“大头贴”式的生硬背景替换），服务提供者可能需要提炼图片中的人脸特征，形成《个人信息保护法》保护的典型的生物识别信息。此类经识别以及提炼形成的生物识别信息，本身具有高度的敏感性，属于敏感个人信息，一旦发生泄露或者被不当使用，将会给个人信息主体造成更严重的影响。这也给收集和处理生物识别信息的处理者（例如此类图片、视频生成类应用的服务提供者）提出了更高的合规要求。
傅鹏表示，例如，收集个人的生物识别信息，需要获得个人的单独同意，只有在具有特定的目的和充分的必要性，并采取严格保护措施的情形下，处理者方可处理生物识别信息，还应当向个人告知处理生物识别信息的必要性以及对个人权益的影响等等。
对外经济贸易大学数字经济与法律创新研究中心执行主任张欣表示，妙鸭相机的主要法律风险在于数据安全风险和数据隐私风险。
张欣指出，如果妙鸭收集过多人脸信息，且生成式AI很难彻底删除用户数据（即使删除了用户数据，如果是使用大模型，有时候模型会记忆训练数据），未来若遭受泄露和攻击，就会产生数据安全的风险。
此外，张欣指出，妙鸭还存在数据隐私风险。如果收集用户的照片仅用于制作数字分身和照片，符合用户个人信息的同意授权用途，则符合法律法规。但若将收集的用户照片用于其他目的进行大模型的训练，则应重新获得同意。
张欣建议妙鸭应在隐私政策中公开其处理个人信息的目的、方式和范围；处理的方式应与目的直接相关，且应遵循最小必要原则。例如，如果10张照片就可以满足生成数字分身，就不应强行要求上传满20张。
04
如何才能合规？
中国对于生成式AI的治理已走在世界前列。为了促进生成式人工智能健康发展和规范应用，国家网信办等七部门在7月10日联合出台了《暂行办法》，将于8月15日起施行。
届时，将会对妙鸭的运行有何影响？傅鹏认为，该服务提供者可能需要根据《暂行办法》满足一系列的合规要求，履行一系列的备案和评估义务。例如，暂行办法对于训练数据的合法来源，生成结果的合法性、非歧视性，不得侵犯他人知识产权、肖像权、名誉权、荣誉权、隐私权和个人信息权益，提升服务的透明度等，都有明确的规定。此类服务提供者应当满足这些要求。
赵精武指出，产生的影响主要表现为：一是妙鸭在进行算法模型优化时应当采用具有合法来源的数据和基础模型；二是妙鸭需要按照《互联网信息服务深度合成管理规定》的要求，对生成内容进行标识；三是妙鸭需要建立健全投诉、举报机制，及时受理、处理公众投诉举报并反馈处理结果；四是妙鸭的用户协议需要就照片的处理范围、方式和目的作出更明确的解释，遵守《个人信息保护法》的基本要求。
张欣向财经E法指出，依据《暂行办法》，妙鸭也不得收集非必要个人信息，不得非法留存能够识别使用者身份的输入信息和使用记录，“同时我觉最重要的，它应该以便捷可行的方式赋予用户删除其个人信息的请求”。