查看原文
其他

i-Weekends | 她会梦见电子羊吗?

IDG资本 2023-07-11



IDG君写在前面

今天的题目灵感源自科幻文学大师菲利普·K·迪克1968年创作的小说《仿生人会梦见电子羊吗?》。迪克创造了“赛博朋克”的早期概念,大名鼎鼎的《银翼杀手20》的剧本原型。


明亮的霓虹灯、超大的全息投影、潮湿肮脏的街道、酷炫的人机交互方式......近年来,赛博朋克及其元素受到越来越多的喜爱和关注,而赛博朋克文化核心讨论的,无非是人类与人工智能之间的关系。


眼下,人工智能在各方面改善了我们的生活,而在遥远的未来,日益强大的人工智能和虚拟人,会让我们的生活更便捷还是更惶恐?这个周末,一起来谈谈赛博朋克文化中重要的元素——虚拟人的定义、用途和进展。

本文授权转载自腾讯研究院

在原文基础上有删减

阅读时间约5min



创造栩栩如生、真情实感的数字化人类,既是《银翼杀手》等科幻作品的想象,也是数字内容创作的不懈追求。近年,不仅有虚拟偶像、MMD(MikuMikuDance,虚拟角色跳舞)等文化现象大流行,更在AI加持下为数字人类初步赋予自主智能。在可见的未来里,我们是否能轻松拥有自己在赛博空间中的“复制体”——虚拟人呢?
《银翼杀手2049》中的虚拟人


#1  虚拟人与数字人、虚拟偶像 


虚拟人与数字人两个概念多数时候可以通用,相比之下,虚拟人更侧重其在外观、智能等方面与人的相似性,在难辨真假的同时可以进行交互。笼统地说,通过3D图像软件或其它模拟仿真工具制作,以数据形式存在的人与类人角色,都可以算作数字人(digital humans)。
虚拟偶像,则是从应用场景出发的一种称谓,无论2D、3D或怎样的表现形式,只要以满足用户对成长、美好的向往为出发点进行公开活动,都可划分到偶像范畴。虚拟人可以被打造为虚拟偶像,同样也可以成为虚拟演员、虚拟作家等等。按照美术风格,可以大体划分为高保真风格、写实风格与卡通渲染。
除风格及场景外,虚拟角色还可以按照制作主体、方式、驱动方式进行分类。艺术家从创意想象出发,经过2D原画-3D建模-绑定-动画等流程制作出的,属于PGC类型;一般用户基于平台工具,将自己的照片、视频上传后自动化生成,或组合已有的面部特征、修改参数进行“捏人”的,属于UGC类型。


#2  虚拟人可以做什么?


虚拟主播的风靡,证明风格化的虚拟角色在商业层面充满可能性。那高保真风格的虚拟人又适用于怎样的场景呢?

1

真实系虚拟偶像

尽管当下二次元风格的虚拟主播更为主流,但真实系偶像的潜力同样不可小觑。当虚拟人的制作精度、动作自然度跨越恐怖谷,自然也有望跨入优质偶像的行列,并有更广的应用场景。
韩国艺术家金贤日(Hyeong-il Kim)创立的SUA项目正是以打造真实人类形象的虚拟偶像为目标。SUA由CG技术制作,在Unity引擎中实时渲染。虽然外形精度不及扫描真人模型后制作的效果,但也足够拟真。如果使用最新款支持面部捕捉的iPhone,小姐姐会模仿你做出扭头、撅嘴、转动眼睛的动作,十分流畅。SUA拥有自己的Twitter,不定期更新自己的日常活动。金贤日正在“培养”SUA的各种才艺技能,让她“出道”后可以应对各种各样的场景任务,如模特、演员、歌手等。
虚拟人SUA用iPhone 12 mini实时跟踪的效果

2

在数字影片中担任演员

使用游戏引擎制作写实风格的影像短片已并非难事,但“虚拟演员”,也就是高质量的人形美术资产,在数量和质量上都不易达到影视制作的需求。在虚拟人制作逐步成熟后,这一问题得到了初步解决。
在2021年Epic官方及合作伙伴发起的短片竞赛中,科幻题材实时渲染短片《K.I.T》就使用了多个虚拟人作为主要演员,以精良制作斩获多个传统电影奖项。短片中“出演”的角色包括Renderpeople、3DPeople中的数字人物角色,及从Eisko官网下载的免费高保真虚拟人Demo——露易丝(Louise)。作者布兰登·希尔(BrandonHill)是一位并就读于查普曼大学道奇电影与媒体艺术学院的学生。
露易丝照片(左)及渲染后的虚拟形象(右)

#3

重现已故的亲人

还原已故的名人、亲人形象,虽存在一定伦理挑战,但也是很多人的真实需求。韩国MBC电视台纪录片频道在2020年2月曾利用VR与虚拟人技术,让一位母亲与三年前因白血病去世的女儿实现“重逢”。母亲戴上VR眼镜后,可以通过触觉手套感知孩子的头发、握住女儿的手,在虚拟空间中与女儿共度生日。她在“重新见到”女儿Nayeon时泣不成声,接受采访时表示,“可能这就是真实的天堂”。技术人员通过Nayeon生前的影像和对同龄孩子进行动作捕捉,合成了Nayeon的声音、动作和面部表情。
三寸天堂


#3  如何做出逼真的虚拟人?


制作实时渲染、高保真、可交互的数字人类,需要影视、游戏两个领域技术的取长补短。影视很真实但不实时,游戏正好相反。影视领域的成熟技术light stage光场摄影,率先解决了“真实度”这一难题。
通过传统流程制作出的游戏角色,仍与真人在细节上有一定差距。角色制作遵循一条由虚向实的路径,一般流程为2D原画设计-3D建模-贴图-骨骼绑定-动画制作。因显卡运算能力和引擎渲染能力不断攀升,写实风格的角色效果正不断向影视级靠近:角色可使用的面数不断增加,材质提升,细节完善,这从《古墓丽影》系列主角劳拉的形象变化可见一斑。
历代劳拉,一个更比一个真!

影视领域则选择由实向虚,高保真数字模型制作与后期处理能力结合,诞生出让人瞠目结舌的特效成果。电影《本杰明巴顿奇事》讲述了主角返老还童的一生,将布拉·德皮特的面部模型与不同体型的演员合成,演绎角色从老年至婴儿的形象变化。这也是在电影中实现的第一个照片级真实数字主角。
皮特本人与使用面部合成技术后的形象

关键技术支撑,来自南加州大学教授Paul Debevec自2000年启动的light stage光场摄影项目研究。这属于photogrammetry范畴,使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效,现场有多台摄像机,用不同角度的影像重建出可360°旋转的场景。
light stage正是通过构造相机阵列,以多角度、高精度照片,既还原拍摄人物的三维结构,也获取面部的反射信息,从而能在不同环境光下重构人脸模型光效。light stage在不断迭代中解决了技术和工程难点,包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。
light stage5,《本杰明巴顿奇事》《阿凡达》等均使用过


# 虚拟人的未来发展


未来,虚拟人的主要发展趋势为更自然、更跨界、更安全。1. 使虚拟人表现更自然,驱动方式更多样。特别是面部表情、眼神、肌肉运动的细腻流畅,既需要更多的真实数据、更优质的算法,也需要生物学、图形学、影视业的跨界支持。2. 推动产学研多方合作,推进行业联盟建设。如数字人类联盟Digital Human League (DHL for short)就是由多个高校、产业、行业专家共同成立,并建立了Wikihuman网络项目,提供来自 DHL 成员的博客文章、图文视频资料及联盟成员可以公开的虚拟人项目文件。3. 加强对人脸数据、AI技术的合理使用,倡导“科技向善”。尽管技术上已初步支持通过照片、视频快速生成虚拟人,同时3D虚拟人因为与周围环境融合效果差,较难伪造人脸识别结果。但也要在未来发展中,重视加强合理使用和风险防范。

猜猜看

用一个小测试结束今天的阅读吧!以下是Paul Debevec团队在SIGGRAPH 2008发布的Digital Emily,你能分辨出哪一个是真人,哪一个是虚拟人吗?

向下滑动 查看答案




END


不要错过:

1500年前的「手办」连帽子都能摘下来,咱玩的都是古人剩下的?

「致敬疯子」:这支广告曾帮助苹果起死回生


成年人的童年秘密,就藏在五颜六色的像素里



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存