点击上方蓝字 CG世界 关注我们
“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ” 目前虚拟人、数字人、虚拟数字人这些和数字人有关的名词在网络上热度非常高。8月18日,明星龚俊数字人亮相与百度与央视新闻联合举办的“百度世界大会2021”上,并且上了热搜。 图片来自https://www.notion.so/707f032b96914f74a6d1d6195a823833#bce81d59b9024a8d9a9504467f257c43 今年五月份,香港雀巢咖啡推出了全新虚拟代言人“Zoe”,并发布一支名为《Re/Imagine》的品牌宣传片,Zoe也是香港首个品牌自创的虚拟代言人。 香港雀巢咖啡虚拟代言人“Zoe”,图片来自 https://www.youtube.com/watch?v=a9Yv1Qc-N94 屈臣氏也在5月推出了虚拟偶像imma作为虚拟代言人的X苏打汽水广告。imma由日本的AWW公司制作,并负责运营。事实上,imma还有几位兄弟姐妹。 屈臣氏X苏打汽水虚拟代言人imma,图片来自https://t.cj.sina.com.cn/articles/view/3168382560/bcd9ae6001900ya3f 同在5月,以“AYAYI”为代号的超写实数字人在社交平台火爆传播,其在小红书发布的第一篇笔记,获得近300万的阅读量,近10万点赞,并且一夜涨粉近4万。 AYAYI,图片来自http://www.xinhuanet.com/techpro/20210721/0e8dfd50699f43358d273d094452658c/202107210e8dfd50699f43358d273d094452658c_4bt3-2_b.jpg 虚拟人、数字人、虚拟数字人,这些名词有什么区别呢?这些名词目前没有标准统一的定义,在本文中笔者尝试从字面上、技术上,以及其强调的目的几个方面理清它们的定义,以及之间的关系。讨论其定义和关系的意义在于对数字人这个领域进行规范化、标准化,以便传播过程中传递准确而清晰的定义,建立统一的认知,更利于行业发展。 从历史上来看,医学研究领域最先使用虚拟人这些名词——20世纪80年代起,人类医学对人体结构、物理反应、生理反应数字化模拟技术开始发展,发起了一系列针对人体的研究计划,包括人类基因组计划(human genome project,HGP)、可视人类计划(visible human project,VHP)、虚拟人类计划(virtual human project,VHP)、人类大脑计划(human brain project,HBP)。21世纪初,美国科学家联盟(FAS)基于上述计划成立了数字人联盟(digital human consortium),目标是实现对DNA、蛋白质、细胞、组织、器官、系统以及整体生命运作机制进行精确模拟。 而恰巧也在20世纪80年代,1982年日本以《超时空要塞》中角色林明美为基础包装了第一位虚拟歌姬,其专辑成功打入当时知名音乐排行榜。 《超时空要塞》角色林明美,图片来自https://www.youtube.com/watch?v=oLaouxryhBA 1984年英国创造出一个Max Headroom 的虚拟人物为主角的短片,播出后大受欢迎,节目播出时段收视率翻了一番。 Max Headroom,图片来自https://en.wikipedia.org/wiki/File:MaxheadroomMpegMan.jpg 2007年,日本克理普敦未来媒体推出了虚拟歌姬初音未来,推出后大受欢迎,其创作热度自推出后一直持续至今,可以说初音未来打开了虚拟人创作的大门。 初音未来,图片来自https://upload.wikimedia.org/wikipedia/zh/thumb/7/7f/Hatsune_Miku_NT.jpg/250px-Hatsune_Miku_NT.jpg 2019年,视觉特效公司数字王国软件研发主管Doug Roble博士在TED演讲中演示了由自己表演实时驱动的数字化身Digi Doug。 Doug Roble在TED演讲中演示Digi Doug,图片来源,https://digitaldomain.com/wp-content/uploads/2019/12/Live-on-the-TED-Stage.jpg 与医学研究领域目的不同,本文所提及的虚拟人、数字人、虚拟数字人的目标是通过计算机图形学技术(Computer Graphic,CG)创造出与人类形象接近的数字化形象,并赋予其特定的人物身份设定,在视觉上拉近和人的心理距离,为人类带来更加真实的情感互动。 网络上流行的虚拟网红、虚拟主播,称之为虚拟人(Virtual Human)。之所以称之为虚拟,第一点人物的身份是虚构的,现实世界中不存在的,比如火热的的虚拟网红Lil Miquela,她在Instagram上的拥有300多万粉丝,她虚构的身份设定是生活在洛杉矶的一名19岁女生。 Lil Miquela,图片来自https://www.instagram.com/p/COI_tD1hjGh/ 如果说身份是虚构的,那么电视剧或电影里的人类演员所扮演的角色也是可能是虚构的,但人类角色并不能称之为虚拟人,因为第二点——虚拟人没有现实世界中的身体,它是通过计算机图形学技术进行虚拟制作的,虚拟人的本体存在于计算设备中(比如电脑、手机)中,通过显示设备呈现出来,让人类能通过眼睛看见。第三点,它具备人类的外观和行为模式,虚拟人具有人类身体的外观形体结构,表现出来的行为模式是与人类相仿的,虚拟人的影像通常是呈现出某种人类的活动。比如初音未来的的角色设定是16岁的歌姬,生日8月31日,身高与体重则分别是158cm与42kg,擅长流行歌曲,摇滚乐和舞蹈,网上传播的初音未来的图像视频主要是歌舞类型。 “数字人”一词来自于英文 Digital Human,中文翻译过来是“数字人类”,简称数字人,目前关于数字人并没有统一的定义。之所以称之为数字人,强调了它存在于数字世界。而数字世界是人类设计运行于计算设备上的代码和数据,它是计算设备上运行的程序,数字世界底层操纵的是0和1这样的数据,相对于人类物理世界来说,物理世界是真实的,数字世界是虚拟的。数字人基本满足虚拟人的第二、三项特征,稍有区别的是,数字人的身份设定可以是按照现实世界中的人物进行设定,外观也可以完全一致,按照真人还原制作的数字人也可以称为数字孪生,比如数字王国制作的 Digi Doug。 数字王国软件研发主管Doug Roble的照片和其数字孪生渲染图的对比,图片来自https://www.artstation.com/artwork/L2KK4l 虚拟人和数字人,如果虚拟人定义放弃第一项虚拟身份设定的要求,强调其存在于虚拟数字世界的性质,那么和数字人就没有区别。 中国人工智能产业发展联盟总体组和中关村数智人工智能产业联盟数字人工作委员会发布的《2020 年虚拟数字人发展白皮书》(以下简称“数字人白皮书”)中对虚拟数字人的描述是: 与上述医疗领域的数字化人体不同,本篇中所分析的虚拟数字人(以下简称“数字人”)是指具有数字化外形的虚拟人物。与具备实体的机器人不同,虚拟数字人依赖显示设备存在。虚拟数字人宜具备以下三方面特征:一是拥有人的外观,具有特定的相貌、性别和性格等人物特征;二是拥有人的行为,具有用语言、面部表情和肢体动作表达的能力;三是拥有人的思想,具有识别外界环境、并能与人交流互动的能力。 数字人白皮书中”具有数字化外形的虚拟人物“的描述强调了虚拟人物的性质。关于虚拟人物的定义,并没有进行解释。百度百科上虚拟人物的定义是: 虚拟人物指在现实中或历史上不存在的人物角色,它可以存在于电视剧、电影、漫画、游戏等的创作性作品中虚构的人物。 如果按照百度百科上对虚拟人物的定义,则数字人白皮书中描述的虚拟数字人是对上述虚拟人描述的延展,除了外观和行为,增加了思想和交流互动的部分,如果严格按照上述各定义特征的要求,数字人的范畴包含虚拟人,虚拟人的范畴包含虚拟数字人。 而目前存在的大多数虚拟数字人自身是不具备思考的能力,与外界交互绝大多数是通过人操纵实现的交互,比如虚拟主播之类。目前通过人工智能技术提供的交互能力,其能力与人力幼童相比也是非常初级的。主要是因为目前人工智能的智能水平还比较低,能做的事情很有限。这一点,用过智能音箱的朋友应该都深有感触,无论是小度,还是小爱同学、天猫精灵,都只能对部分特定句式的问题给出有效回答。
数字人白皮书中对虚拟数字人是否必须满足其所述三项特征的描述上用词并不直接——“宜具备”。宜是多义词,作为形容词有”合适的“的意思,作为动词有”适合于“的意思,作为助动词有”应当“、”应该“的意思,但在现代汉语中多用于否定词(不宜),此处将宜理解为助动词”应该“比较合适语境,即”数字人应该具备以下三方面特征“,即不要求必须具备,只是期望具备。在不要求必须具备思想和交流互动的能力前提下,虚拟人和虚拟数字人是等价的,虚拟数字人强调虚拟身份和数字化制作特性。
对于不要求必须具备交流互动能力,虚构身份的数字人,数字人、虚拟人、虚拟数字人这三者概念可以认为是等同的,网络上很多文章中指的是这个级别的定义,三者经常混淆使用。从严格意义上来讲,上文对数字人定义更宽泛,后文使用“数字人”一词来进行讨论。 2D指的是几何上的二维,3D指的是几何上的三维。2D是平面空间,3D是立体空间。2D数字人和3D数字人区别不仅体现在视角上,也体现在制作技术上。从呈现视角形式来说,2D数字人只能以单个视角去浏览,一般都是在制作的时候就已经确定了视角,用户不可以自行变换视角。而3D数字人能够以任意视角去浏览,至于是否开放视角给用户自己调整,由产品制作团队根据产品设定来定义。目前大多数显示设备都是2D的,很多3D作品也选择使用2D呈现,比如科幻动作电影《阿丽塔:战斗天使》是使用3D制作,影院放映同时有2D和3D版。但即使是3D版本,也只能有立体效果,并不能调整视角。从制作技术上来说,3D数字人需要制作三维立体模型,2D数字人则不一定需要。为什么说不一定需要,因为传统的制作方法一般直接做2D的图像即可,而新的趋势也有使用制作三维模型渲染成2D图像的方法来制作。 数字人的外观风格可以由有多种类型,通常由艺术家来定义,比如有卡通、写实等等。在3D数字人方向,专门强调外观和动作看起来非常逼真,渲染效果达到难以辨别是照片还是渲染图的程度,可以称之为照片写实数字人(photorealistic digital human),典型代表是Siren。 Siren渲染图,图片来自https://docs.unrealengine.com/4.27/en-US/Resources/Showcases/DigitalHumans/ 为什么专门聊一下照片级写实数字人,因为这是目前3D动画行业对数字人研究的最新进展,要达到动作尤其是表情非常真实的效果是非常难且复杂的,在诸多方面存在挑战,但也是最接近真实人类外观的效果,人类在情感上接受度会更高。数字人可以应用到娱乐、金融、医疗、快消等诸多领域,比如在电影中饰演某个角色,作为银行的虚拟客户经理,亦或者作为你的虚拟助理。这些应用要通过数字人传递非常真实人类的情感表现,因此对数字人的外观、表情、声音、动作都希望达到与人类无差异的水平,这也推动了照片写实数字人的发展。2021年初,虚幻引擎开发商Epic Games推出了MetaHuman Creator ,用于快速创造出非常真实的数字人,并且通过动作捕捉系统可以在虚幻引擎中实时驱动并渲染。
MetaHuman Creator 界面,图片来自https://docs.metahuman.unrealengine.com/Images/UserGuide/Face/mhc_face_blend.webp 近年来明星品牌代言人丑闻不断,对于代言的品牌方有非常大的负面影响。虚拟人设的数字人作为品牌代言人避免了人设崩塌风险。并且,数字人可以7X24小时工作,这也是人类无法做到的。目前多个行业都在进行数字人作为人类替代或补充的应用探索,这也是数字人走向商业化的一种模式。现在很热的元宇宙(Metaverse),正是一个庞大的虚拟数字世界,数字人在将会其中扮演非常重要的组成部分。 数字人的浪潮正在席卷而来,无论在商业上,还是在技术上,数字人在未来都有非常大的发展空间。那么,我们离头号玩家中的虚拟世界还有多远呢? 2020 年虚拟数字人发展白皮书,中关村数智人工智能产业联盟,pg.jrj.com.cn/acc/Res/C 初音未来,维基百科,https://zh.wikipedia.org/wiki/初音未來 Max Headroom,维基百科,en.wikipedia.org/wiki/M 数字人,百度百科,https://baike.baidu.com/item/数字人 虚拟人物,百度百科,https://baike.baidu.com/item/虚拟人物 数字人、虚拟人、数字替身区别是什么?,CG世界,163.com/dy/article/G65S 中国数字人男1号,百度百科,https://baike.baidu.com/item/中国数字人男1号 数字人体研究及其应用,吕婷,中国组织工程研究与临床康复 第 14 卷 第 48 期 2010–11–26 出版,cjter.com//fileup/2095- 只做了个头?雀巢也自己搞了个虚拟偶像!,CG世界,mp.weixin.qq.com/s/AxRS “超写实数字人”火了 虚拟偶像也有明星“待遇”,北京青年报,xinhuanet.com/techpro/2 Style3D携手百度智能云,为虚拟IP加码数字服装,砍柴网,xw.qq.com/cmsid/2021083
注:头图来自网络图片合成(上:Zoe,下左一:初音未来,下左二:阿喜,下左三:华智冰,下左四:Siren,下左五:imma) 作者知乎主页:https://www.zhihu.com/people/xu-feng-22-78/