查看原文
其他

「虚拟制作」在中国走了多远?

三声编辑部 三声 2021-06-03

👆本号引起极度舒适,建议星标一下

不仅要让影片制作的每一步都能被实时检验、修改,做到并行开发,还要让实拍的效果最大程度接近最终成片,总而言之,就是要让影视创作者的创作过程变得更“爽”。


作者 | 任彤瑶


几位年轻人坐在大堂内交谈,身后是热闹的人群,明亮的阳光从右侧的窗框照进来,为人物的轮廓镀上一层柔和的光晕。 


这个实时拍摄的场景中,除了主角以及身前的桌椅,整个建筑、光源乃至群演们,全是背后LED屏虚构的。镜头扫过这个24米长的巨大环屏,肉眼无法从监视器中分辨出虚实的界限。  



这段画面来自博采传媒,一个位于杭州的老牌影视公司,以广告与CG动画制作见长。2016年开始,公司投入上亿研发属于自己的虚拟制作工具,围绕“实时”与“并行”两个关键词,团队从底层代码开始,开发了从Previz、Techviz到实拍的影视虚拟制作全流程。 


四年研发成果初显,这个意在让影视创作“所见即所得”的公司,正试图从另一条道路上与好莱坞同台竞争,甚至走到前面去。 


此前《三声》(微信公众号ID:tosansheng)关注过不少院线大片的创作幕后,一部大型作品,往往能推动行业上下游获得有效的技术与协作经验。 


但制作技术和流程的逐步革新,往往不是只靠大片/大导演,也靠业内公司自下而上的尝试推动。相对于其他行业,产业链条长、分工复杂的影视变化更慢,当我们把影视技术放在新商业、新制造的产业链里看,关注重建生产流程的试验就有了意义。博采传媒正是案例之一。 


01 | 所见即所得


长久以来,电影生产遵循一套线性的流程,环环紧扣,每一个的改动都会带来巨大成本。  


“大家常说电影是遗憾的艺术。没有人说小说是遗憾的小说,写不好就撕掉重新写一遍,但电影不行。”博采传媒创始人李炼告诉《三声》。 


比如特效镜头的拍摄,演员需要在绿幕前完成表演,再交由后期完成特效制作,如果在剪辑过程中发现有遗漏或不当,就需要靠后期或重新返回绿幕棚内补拍,再进入特效制作-剪辑的循环。最近的例子来自《正义联盟》,华纳为导剪版投入了7000万补拍预算。  


对已具备成熟体系的好莱坞而言,这种重型的线性生产不是难题,甚至是好莱坞之所以为好莱坞的优势所在。经过近百年的发展,以大娱乐巨头、大制片公司为中心,好莱坞形成了一套分工精细、成熟的生产流程。  



毫无疑问,这是一套优秀的工业体系,但照搬到国内并不完全适配。“好莱坞的开发流程依然是线性的,每个环节都有非常成熟的人才,但中国人才基础是不一样的,每一局部的人才不足都可能导致重工业流程卡壳,在中国学习好莱坞的重工业还是蛮痛苦的。”李炼说。  


李炼算是位斜杠中年,毕业后干过摄影、剪辑,策划创意,做过电视剧导演,广告导演,动画电影导演,还做过电影特效。1993年成立博采传媒后,开始深入接触动画制作与广告创意业务。在影视行业摸爬打滚了二十多年,做过流程线上的不同工种,他感觉到,中国的影视市场与人才储备状况,没办法在短时间内让整个产业变得更好。  


有没有其他缩短制作周期的路径?改变流程本身或许是一种解法。 


“2016年我给自己定了个目标,换个思路想未来模式,我们想未来要发展一种迭代开发的影视流程,而不是像原来这样必须完成一步才能走下一步,一步一步线性地做下去,要变成并行的。”李炼说。  


并行开发的底层逻辑是“实时”。这意味着迭代开发,快速试错。 


举个例子或许更好理解。在胶片年代,拍完照冲洗出来才能看到影像,很难返回修改,但数字化技术让拍摄成果的检验变得实时,拍照过程也就变得更轻巧灵活。这是发生在拍摄环节的一项“实时”革新。  


李炼认为,类似的技术改进如果能发生在影视制作的每个环节,如在实拍过程中,能通过虚拟制作系统实时看到特效场景的成片,并且可以反复快速修改,电影就可能不再是“遗憾的艺术”了。  


“图像技术、渲染技术包括人工智能都日新月异,电影生产模式也到了该变化的时候。”李炼说。  


事实上,好莱坞也在发生类似的变革。特效技术的进步,让实时Previz(预制片)得到了越来越多运用,虚拟制作的概念也因《曼达洛人》等作品获得了广泛关注。  


“但好莱坞还在原来的重工业的体系中,某一个环节上这样做。我们是一整个体系都用虚拟逻辑方式做,这个是最大的差别。”李炼说,“从最底层开始实时Previz,到Techviz,再到实拍,我们想把整个流程全部用实时的逻辑去做。”  


他戏称,这是“光脚的不怕穿鞋的”,某种程度上,中国影视工业的不定型,在面对技术变革时反而显得更灵活进取。  



2016年,博采传媒正式投入研发虚拟制片系统,团队探索的方向被总结为一句话:所见即所得,“make every production step real time”。  


不仅要让影片制作的每一步都能被实时检验、修改,做到并行开发,还要让实拍的效果最大程度接近最终成片,总而言之,就是要让影视创作者的创作过程变得更“爽”。  


02 | 改变Previz环节


确定方向后,公司开始为研发团队招兵买马,开发全流程软件。  


李炼解释,这是必要的步骤。如果用别人的软件,就要跟随别人的流程,想开发新的制作流程,就必须从底层开始写自己的代码。这不是一件容易的事,技术团队能真正用起来,已经是是两年之后的事。  


“编程语言和艺术创作语言,不夸张地讲是两种人的语言。”李炼告诉三声,现在博采传媒的研发团队大概三十几人,大部分是计算机、图像识别相关背景,但他们起初并不懂影视制作。“描述同一件事,可能说的都是中国话,大家也互相听不懂。”  



他们的方法是让程序员下片场,让写代码的人到一线去跟拍摄,随时解决剧组的问题。有点像用做互联网产品的方式去做影视支持系统:导演是产品经理,他需要什么,程序员就提供什么。  


首先被改造的是Previz(预演)环节,这是流程改造最初步的源头。  


Previz并不是新概念。它全称为Previsualization,指的是复杂场景在拍摄之前的预可视化。Previz能辅助制作组模拟、调整大规模复杂特效场景的拍摄,预测实拍中将要出现的内容与机位,相当于一次低成本的精确演习。  


这早已是当今电影拍摄的重要环节,如《星球大战》《霍比特人》剧组就为木桶漂流等激战情节预先做了3D动画,以确定拍摄方案。  


但一般而言,Previz都是作为“参照物”存在的,它与实拍等环节相对割裂。博采传媒希望做到,Previz的数字资产能被后续环节继承利用,可以服务于更便捷、细致的开发。  


“实时Previz的方式有人在影片的局部做,形成一两个镜头,但全片都这样做的目前还未有看见。”李炼说,全流程实时Preiz是公司正在推动的,这需要一整套新的底层设计。  


诸如机位运动轨迹、灯光效果等数据将被保留下来,Techviz环节提至实拍之前,对Previz的资产进一步细化、精确,而后直接运用在实拍过程中,且可以快速修改。届时在实拍现场监视器上看到的画面,就无限趋同于银幕上的最终输出画面。  


Previz的其中一个流程是动捕。去年博采传媒配置了一大一小两个动捕棚,基于瑞典的一套动捕设备进行开发。  



这套设备原本服务于运动医学与生物解剖研究,可以拍摄每秒1000帧的高格影像,例如射箭、甩鞭等高速运动轨迹也能捕捉。利用它来开发是为了让Previz达到更高精度。为让这套技术适配影视,研发团队自行设计了配套的作业流程,支持虚拟与真实摄像机之间的无缝对接。  


一般动捕的生产模式,全身动捕数据是分离录制,不可实时预览,后期需要大量重新匹配乃至返工,但博采的生产模式支持高效实时输出表演动画,让影片内容的改动变得实时简易,产能也获得了提升。  


据了解,一部同品质200分钟的动画项目最快30天就可以完成,一部120分钟S级番剧制作周期约为4个月。  


在博采传媒的大动捕棚里,动捕师向我们展示了工作过程:  


在拿到剧本和分镜后,动捕演员会穿上装备,在中央动捕区域开始表演。环绕四周的36个红外感应摄像头,将完整记录下演员的所有动作。动捕棚里没有威亚,一些类似旋转、腾空的动作,演员会在原地或者吊臂上完成。  



交付一次完美的表演后,演员的任务就结束了。至于具体的运镜与拍摄角度,都可以交由后续的镜头调试处理。这是一种镜头迁就表演者的“分层制作”概念。  


动捕师坦言,刚开始时,要接受这种违反直觉的制作方式有难度。“我们一开始觉得,为什么不能直接一条拍掉,人跟着走,镜头跟着走。”  


但李炼觉得,如果要进入量化生产,迭代开发,就必须分层制作。同时场地的利用率也得到提高,一个动捕场地会分割给几个剧组同时使用。如果要人迁就镜头,动辄做类似吊威亚飞荡的大动作,工程量就会变得很浩大,场地占用时间就会大幅度增加。  


目前Previz环节只需要3到5个人,一个部门人数大概有十多个。“动画与实拍原本是两个完全割裂的部分,我们希望能让实拍领域的人才与动画领域的人才完全打通。改变作业模式,也是在创作表演上给两个领域带来新的刺激。”李炼说。  


03 | LED环屏


在Previz环节活跃的是动捕演员,如果是动画制作,表演到这一步就结束了。但真人电影还需进入实拍阶段,将Previz中的人物替换为最终出现在银幕上的真人演员。  


这需要真人演员站到Previz做好的场景中再演一遍。“屏”的作用就在这个阶段浮现。  


这里所指的“屏”,不是一块简单的显示器,或者一个投影屏。它像那种在海洋公园最受欢迎的巨大环形鱼缸。  


直径24米,高6.4米,弯曲成270度的环形竖屏与顶屏相接,它们由2800多块LED屏幕组成,像素间距2.0mm,亮度达到1000nit。切入一段大海的场景,海浪从身体两侧与上方涌起,将人包围。  



沉浸与逼真,这是LED环屏在虚拟拍摄中屡被提及的关键词。  


与普通的绿幕拍摄相比,LED屏具有几个明显优点:环屏能提供足够逼真的场景光,避免了绿幕拍摄中绿色反射到物体上的“溢色”问题,对演员投入表演也更有帮助;其次它无需抠像做后期处理,实拍的环境画面可以直接使用。  


与实景拍摄相比,LED屏的可控性更强,不受天气影响,节约了外景的时间和场务等大量人力,演员临场感优于绿幕拍摄。  


比如要拍黄昏,实景一天之中只有5分钟的光效,但在LED棚里,剧组可以在同样光效下拍一整天。“说严重点可能节约200%的时间。原来100个人的剧组,现在只要30个。”李炼说。  


LED屏应用最知名的例子莫过于2019年末迪士尼推出的剧集《曼达洛人》。博采传媒建立环屏,比《曼达洛人》晚了大半年,并且要着手解决那些没有被曼达洛人剧组解决的技术问题。 


“LED屏拍摄之前有不少限制,不能太近,不能斜着拍,不能拍全景,不能从户外转换镜头拍到室内,但我们觉得消灭这些限制才是我们的技术的标准。”李炼说。 


LED屏拍摄一个最大的疑问可能是:背景真的能足够高清晰逼真,不经后期就被放到银幕上供人审视吗?这涉及一系列硬软件配合的复杂问题。  



对博采传媒来说,优势在于世界上大部分LED都是中国制造的,在中国做定制,设立课题研发的基础很好,博采因此申请了一批技术专利。  


他们在硬件上提升了屏幕精度。曼达洛人剧组的屏幕精度是P2.5,博采传媒的是其4倍;曼达洛人剧组在拍摄任务高速移动的镜头时,需要在背景里单独抠出一个绿幕,为人物的背景做后期,但博采传媒的屏幕已经可以拍摄每秒120帧的高速镜头,背景细节保持8K。  


另外,他们还通过算法解决了诸如扩大屏幕拍摄角度(曼达洛人剧组要求屏幕与摄像机尽量呈90度)、缩减实物与屏的距离、自动去除画面中的机械臂以及屏幕摄像头追踪等一系列问题。  


团队还为LED屏自研了一套控制系统,可以根据拍摄需要提供不同类型、位置的特定光源。比如演员身处黑暗的场景,需要一个顶光,软件可以控制主角头顶的某块LED屏变成光源,其他LED屏保持不变。现场所需的灯光人员可以减少至一个。  


聚焦“人”本身的概念贯穿了全流程。比如拍摄一个太空漂浮的镜头,镜头运动和表扬变化在Previz中转化为机位轨迹,以及随着机位变化的LED屏背景。实拍演员时,不需要飞来飞去只需要控制表情就可以了。  


“理论上我们的虚拟制片流程可以让所有步骤可以变得很确定。”李炼说,“甚至实拍阶段,摄影可以完全交由机器来做。”大量工作交由前置准备完成,实拍和后期工作就变得更确定更可控,理想状态下不存在“补拍”环节。  


04 | 未来规划


2019年,李炼拿一个虚拟拍摄的初步demo飞去了美国,和六大制片公司的高层见面,介绍并行实时开发的想法。制片公司们对此表现出兴趣,但似乎并没有在这方面有技术准备。  


当博采把demo发到fecebook上,收到了许多业内人士的积极反馈。“一天之内有差不多900个人来联系,都是业内对虚拟制片很有研究的人,说明在全球范围当中,制片流程都是大家想要解决,没解决的问题。”李炼说。  


在国内关于虚拟制片,大家谈论更多是LED屏的问题,但李炼认为那不是虚拟制片的核心。真正的核心是看不见的,对底层制片逻辑的更新。  


“以前想追赶或者想超越,都是在原来那条重工业、线性开发的路上,超越基本不太可能,追多少年才能追上都不知道。现在是换了一条赛道,不是用原来好莱坞那套工业体系,而是走了新的流程。”  


李炼认为,在虚拟制作的研发上,国内外是同一起跑线的,甚至国内有些环节更领先。走得早一些的博采传媒,在技术端口上已经有了一些优势。  


屏并不是虚拟制片的全部,真正的大空间是在前端,优化软硬件配合。接下来博采传媒希望解决系统易用性的问题,把开发软件的UI界面做得更适配艺术家,更快速高效、便于使用。  


其次需要解决人才问题。最稀缺的工种是技术研发,另外虚拟拍摄现场的支持工种,如屏幕维护、灯光调控、摄影监控等被统称为LED支持团队,都是要同时有导演与技术经验才能做好。  



“在整套技术中根本找不到一个现成的人,所有的人员都是自己培养,”李炼说,这就是为什么目前为止,想复刻这个技术不容易,因为没有办法短时间同时构建几个完整的团队。他们接下来的工作之一就是构建培养更多人才。  


可以预见,随着虚拟制片的普及,影视行业的分工也将发生改变。“未来的电影行业可能就是导演加上很多做技术工作的人,原本剧组干体力活的人数量会大幅减少,换成比原来数量少得多的技术人才。”  


到以后,导演可能只需要带主创进场,人在执行中的制约因素越来越少,可能会有很多编剧可以自己做导演。  


另一个新技术是深度学习,它的目的是让虚拟制片变得更智能,创作者更随心所欲。“因为我们的目标是后期前置,尽量让这个片子无限接近最后的结果。像抠像这种简单的事,就让机器干。”  


短视频平台如快手、百度等都已经推出了智能剪辑工具,但与它们相比,影视智能剪辑的深度学习资源是影视剧,捕捉更精确的剪辑手法与镜头语言,学习时间更长,资源量更少。 


据团队接触发现,现在国内对虚拟制作感兴趣的创作者不在少数,但真正敢去试的不多,“原因是大家都不知道会在这个技术面前碰到什么,感觉突然一下变得无知,所以很多人抗拒这件事情,不愿去尝试。”  


但李炼相信这种状况很快就会改变。这套并行开发的体系给了导演更多试错机会,能更有效地实现导演的想法,让创作变成一件更具个人特色的事情。  


目前博采传媒已经合作了几部院线电影和综艺,也在制作自己的科幻题材的电影。加上公司之前在动画电影和广告方面的丰富经验,这套虚拟制片体系让公司大面积扩展了业务视野,真人影视和动画融为一体,拓宽内容产出的风格,甚至有机会与游戏产业、与当下火热的Metaverse做结合——虚拟制作体系天然适合生产沉浸感官的内容。  


公司一方面会加紧复制团队,另一方面会在浙江建立虚拟拍摄基地,其中一个8米高的新屏幕已经在安吉建成,准备投入使用了。接下来就是在新体系下高效产出内容。 


李炼对博采的技术优势有信心,但也保持着危机感,他认为一个新的产业模型可能被复制,但影视行业如果失去原本应该有的积淀,只做简单的模型复制,有可能伤害的是整个影视产业的未来发展前景。



©三声原创内容 转载请联系授权

 爆料或寻求报道加微信号:sanshengss333

  【商务合作加微信号:sansheng_kefu

 点击下方图片】了解更多精彩文章

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存