课程揭秘 | 影视背后的黑科技
关键词：影视特效 特色课程 陈宝权
背景
近日，一部国产动漫电影引起了很多人的关注。追光动画公司的匠心巨作《白蛇：缘起》，在经历了上映初期的票房低迷后，低开高走，于近日冲破3.5亿票房，好评如潮。
精美的制作画面
炫酷的动画效果
在这些华丽的画面背后，是最顶尖影视特效技术的支持。了解这些技术，能让你在下次看电影时有不一样的感受。
课 程 简 介
北京大学前沿计算研究中心陈宝权教授于2018年新开设的影视特效技术课程，为学生介绍了计算机图像生成、三维动画技术以及它们在电影和电视节目的特效生成中的应用。课程特邀讲者包括Scott Ross, Marc Christie, 张心欣、王春水、邵丹、Oliver Deussen, 闫令琪等国内外知名学者与影视工作者。同时，课程还设计了影视特效技术的实践作业，包括基于Unity的相机在Toric space下的控制实践，运用光线追踪实现的三维图形渲染以及自选课题的探究实践。
讲 者 介 绍
（按报告顺序排列）
陈宝权
北京大学长聘教授、前沿计算研究中心执行主任，兼北京电影学院未来影像高精尖创新中心首席科学家，国家杰青
研究方向：
计算机图形学与三维视觉
Marc Christie
Associate Professor, University of Rennes 1
Research Interests:
Real-time visibility computation for multiple targets, Real-time path planning for camera control
张心欣
北京电影学院未来影像高精尖创新中心科技组研究员，知乎大V
研究方向：
物理模拟仿真，智能剪辑
王春水
北京电影学院科研信息化处副处长、数字媒体技术研究所暨影视技术系副教授
研究方向：
三维技术指导、动作捕捉、系统管理、合成和剪辑
Oliver Deussen
Professor, University of Konstanz
Research Interests:
Modelling & rendering of complex objects,
Non-photorealistic rendering & Information Visualization
Nils Thuerey
Associate Professor, Technical University of Munich
Research Interests:
Physical simulations for virtual worlds, Simulations for effects such as detailed smoke and liquids
获奥斯卡技术奖
闫令琪
加州大学圣芭芭拉分校助理教授
研究方向：
物理渲染，物理建模，光线追踪
Scott Ross
Director, Digital Domain's CEO & Chairman
Relative production:
Titanic, the Fifth Element, Apollo 13, Fight Club, etc.
三获奥斯卡
邵丹
中国著名摄影师，导演，北京电影学院摄影系教师
相关作品：
《额吉》、《村戏》、《中国国家形象片》、《北京祝福你》等
王希
网易不鸣工作室创始人
相关作品：
《战意》
课程精彩内容一瞥
Toric Space下的相机控制 (Marc Christie)
相机的运动是影视拍摄过程中非常常见的情况，传统的相机移动，通常采用沿直线运动的设计方式，这种移动方式，会使人物在屏幕中的位置发生变化，导致观众注意力的转移。通过几何分析证明，如果相机在Toric Space上运动（左图），就能保证人在屏幕上的位置保持不变，从而减少相机运动对于内容表达的影响。
光照风格迁移 (Marc Christie)
将目标图像（reference image）上的光照效果迁移至原图像（initial lighting）上，得到最终的迁移效果图（result）。通过分析目标图像光照强度和梯度分布直方图，使用三点光源（key light, fill light, back light）的基本模型进行补光，对风格进行迁移。同时，该项工作还可以用于与用户的光照效果需求进行交互，达到自动补光的效果。
航拍路径规划 (Marc Christie)
使用飞行器扫描场景是一项富有价值与挑战性的任务。现阶段的飞行器航拍都是全人工操作，让无人机根据场景的重建情况自行进行航拍的路径选择与规划，实现全自动航拍，是无人机航拍领域正在攻克的问题。
动作与表情捕捉 (张心欣)
要在动画和电影里展现自然的动作与表情，仅仅使用计算机合成出的动画效果会有不真实，不自然，难以把握到人物感情等问题。因此，实际的动画制作大多采用动作和表情捕捉的方式，通过传感器捕捉关键节点的运动，然后运用到已经构建好的模型上。一部电影的拍摄完成，也就相当于是真人演了一遍。
物理仿真 (Nils Thuerey)
巨浪滔天，天崩地裂，这些影视场景当然不可能通过自然拍摄得到，全部都是通过计算机仿真模拟出来的。物理仿真通过设计物理模型，通过公式计算出模型在各个时间的状态，仿真的效果一方面和模型的设计有关，另一方面就和计算的精度有关。高精度的仿真所需要的计算资源是电影制作的重要成本之一。Nils Thuerey在流体和烟雾的仿真问题上颇有造诣，近年来，随着深度学习的发展，Nils大胆地将其运用到物理仿真上并取得了出色的效果。
树模型仿真 (Oliver Deussen)
树的仿真只是物理仿真的很小一部分，但其中就包含了大量的问题，比如树的姿态，树叶的形状，树的生长变化，树在森林中的分布等，Deussen教授致力于树的模型仿真，并且提出了很多有趣的方法和问题。自然界的奥妙是无穷的，物理模拟的效果也永远是没有最好，只有更好（上图为模拟树在靠墙生长时会出现的姿态）。
光线渲染 (闫令琪)
渲染是特效制作中最重要的部分之一，如何设计光照模型，物体材质模型，物体表面模型等等，同物理仿真一样，渲染的最终目标也是使结果接近自然状态或者电视电影的目标需求。接近真实的渲染效果，使得观众已经很难在电影中分辨出哪些是现实中拍摄，哪些是计算机生成。但是，渲染对于计算资源和硬件资源的高要求依然是亟待解决的问题（上图均为计算机渲染产生的结果，不同的茶壶只是改变了的材质模型参数）。
全息技术和虚拟现实 (王春水)
从黑白电影到彩色电影再到现在的3D电影，电影的展示方式越来越多，观影的体验也越来越丰富。随着全息技术和虚拟现实的发展，电影或将迎来又一次新的革命。
做中国人自己的AAA大作 (王希)
游戏行业实际上也是和影视行业息息相关的行业，从某种意义上来说，游戏就是让玩家自己探索的电影。中国游戏行业起步晚，相比于国外的游戏，在游戏文化，游戏引擎上都存在差距。让中国玩家玩到国产的，高质量的游戏，还有很长的路要走。（上图为王希开发的国产游戏大作《战意》）。
未来电影——文化与技术相结合 (邵丹)
邵丹导演作为影视行业的一线工作者，亲眼见证了影视行业的变革。随着影视特效技术的飞速发展，电影的不再只是艺术产品，科技带来的视觉效果同样重要。邵丹导演预测，未来的电影行业，艺术与科技的结合将会越来越紧密。
视觉特效之史，虚拟现实的灭亡与人工智能的未来 (Scott Ross)
数媒娱乐产业重要先驱Scott Ross博士对于影视特效发展史，以及当下的热点技术虚拟现实和人工智能进行了报告。他以影片为例，说明了影视特效技术的发展给电影行业带来的重大变革，包括动画电影的出现，人工模型到计算机生成模型的转变等等。具体报告细节见：视觉特效艺术家Scott Ross来访中心
学生项目展示
本学期，针对课程内容，该课程设立了三个项目，分别是基于Unity的相机在Toric space下的控制实践，运用光线追踪实现的三维图形渲染以及自选课题的探究实践。下面为部分学生的项目成果展示。
Toric Space下的相机防遮挡设计
(由Marc Christie提供)
问题描述：
在上图的toric space状态下，如果在人与相机之间添加障碍物，相机应该如何沿toric space变化来保证目标的可见性。该项目主要目的是熟悉Unity的开发环境与了解Toric Space在影视拍摄上的作用。
结果展示：
在上图中，相机和人物初始是不动的，当加入一个周期性运动的障碍物时，需要在Toric Space上调整相机的位置以保证能看到对应目标。在调整过程中，如何使得相机移动尽可能少，如何使画面尽可能流畅这些都是作为开放性问题等待解决。
光线追踪简单实现
(由Marc Christie提供)
问题描述：
光线追踪是影视特效技术中的基础，本项目提供了光线追踪的场景和基本框架，需要实现光线的反射，折射，漫反射等具体细节。该项目的主要目的是帮助同学加深对光线追踪的理解，培养对影视特效技术的兴趣。
结果展示：
以上三列分别是三位同学的渲染结果，在渲染过程中，一个参数的不同就可能导致结果差别很大，但孰优孰劣就要视实际场景而定。
自选项目
第三个项目的选择，由学生自己选一个感兴趣的话题，针对目前已有的成果，在两周的时间内，设计新的算法或者新的应用。
光线风格迁移
胡越予、叶子博
给定一个场景和一个物体，如何调整物体表面的光强和纹理等图形特征使得它能与环境融为一体。与前文提到的光线风格迁移类似，这里也需要对场景的光照风格进行分析。
两位同学采用已有工作的方法，通过深度学习分析还原出场景的光照法向量分布（上左图为场景，右图为估计的光照法向量分布）。
然后，将场景的光照法向量分布应用到待匹配物体上，使得物体具有和场景相近的光照分布效果（上从左至右为原物体、估计的物体法向量、光照匹配后的物体、真正场景中的物体）。
最后，将物体放回到场景进行效果对比（从左至右为真正场景中的物体、光照匹配后的物体、原物体）。
通过相机运动生成3D照片
吴侃
在用手机拍照的时候，我们得到的都是二维的图片。其实，只需要通过小范围的多次拍摄，就可以获得场景中的三维信息，甚至构建出具有3D效果的照片。
该项目运用了经典的Structure from Motion的框架，先从图像中提取关键点，然后进行关键点匹配，最后进行深度估计得到具有3D效果的照片。
流体仿真
黄杨洋、肖水生
流体仿真是物理仿真的经典问题之一，需要考虑到重力、压强、对流等诸多问题，处理起来非常繁琐，需要有较强的数学功底。基于对该问题的兴趣，两位同学将流体模拟的基本问题进行了实现，并取得了非常好的效果。
图像重建分割线选取
王牌、倪星宇
运用Laplace和Possion的方法进行图像恢复是非常经典的方法，而其中一个很重要的问题即选取合适的分割线。该组同学运用物理的概念，选用图像边缘检测的二阶微分算子Laplacian进行测试。
下图左右分别为随机选取分割线(左)与根据能量最大原则选取分割线(右)，可以明显看出右图对图像的还原效果更好。
动作迁移
吴润迪、薛犇
想跳舞又学不会怎么办？你一样可以在屏幕上跳想跳的舞。通过深度学习方法，提取出舞蹈人物的动作信息，然后将动作信息映射到目标人物（比如你自己）身上。具体原理就是通过自编码器的输入输出，让自编码器能分别学到人物的动作、外表等信息，然后将信息进行重组解码，就能实现动作的迁移。
上图是动作迁移的效果，可以看到，从左到右，人物的骨架没有发生变化，动作却实现了交换。也就是说，只需要你想表演的动作视频和你自己随意运动的视频，就可以让你在屏幕上做出想表演的动作。技术给生活带来的改变，就是从这些小的应用上开始的。
课 程 小 结
以上介绍的，只是影视特效技术的冰山一角。课程的更多详细内容，请点击“阅读原文”浏览课程网站。科学技术正在无形之中影响着我们生活的每一个细节，带给我们更多惊喜。
内容编辑、整理 | 蒋鸿达
指导教师 | 陈宝权
近 期 热 点
— 版权声明 —
本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。