查看原文
其他

英雄体育VSPO胤风子工作室567:专注虚拟视觉和引擎技术发展,拓展虚拟偶像等应用场景

东西文娱 2023-10-23

The following article is from 共同虚拟 Author 东西文娱

东西精品沙龙系列

本期「未来的体育」

线下沙龙第三期


(会议现场点击下图即可阅读)



点击视频,直击现场体验

我是英雄体育VSPO胤风子工作室的567。

其实我加入集团才一年多,从去年下半年开始做了电竞相关的一些项目,到上个月开始更大规模地投入电竞制作当中。我会结合我在业界的一些从业经历、项目,加上我加入英雄体育之后的一些感悟,做一些分享。

英雄体育VSPO胤风子工作室总经理567



从传统CG和视效领域,向虚拟视觉、引擎、AI技术转型

我从 2016 年开始,对于视效和CG技术产生了一定的危机感,这危机感的来源是游戏的引擎技术对于 CG 技术的冲击。当时就觉得虚幻引擎突然变得非常强大,它的算力可以做到每秒 25 帧以上或 30 帧以上,同时它的视效呈现也还可以了,所以我当时就特别有危机感,叫我们团队开始往虚拟的视觉领域转型。

这个决定是非常成功的。因为五、六年后,我带了一个十几个人的核心团队加入VSPO,到现在团队规模已经超过了原来的团队,接近 100 个人。

我们刚刚开始来的时候是准备做虚拟人、虚拟偶像和虚拟数字人相关的一些技术,但是到去年,遇到KPL夏季赛总决赛的一个XR巨型项目,如果没有我们之前五、六年的虚拟视觉领域的积累,当时是不可能承办下来的。

我觉得我们在虚拟视觉领域,相对来说是走在国内比较前沿。今年大家都感受到了 AI 对于各行各业的冲击,对于我们视觉行业的冲击。我自己的想法是抱以比较欢迎、比较乐观的态度,因为我觉得我们一直是在艺术或者技术领域做选择题的人,那 AI 只是丰富了你做选择题的速度和成果的完成度。但是对于美术行业、音频行业、文案行业,可能冲击是非常大的,在这块也有一定的焦虑感。

我们工作室的定位是视效技术领域,我对技术的理解一直是技术要为美、为视觉、为内容、为创意服务的,而不是作为一个噱头出去讲故事。我们的主要的业务板块是赛事美术、包装制作、TVC 拍摄、CG 制作,这一块跟传统的 CG 和视效领域是比较接近的,但是我们更专注于在虚拟视觉和引擎技术这块的发展,包括光学动捕、虚拟偶像、虚拟前沿的技术和 AI 技术。光学动捕和虚拟偶像是我们工作室比较重要的业务主线。

我们核心优势是自主研发的一些虚拟系统,它可以做直播,可以做实时的互动,我们对于视觉视效这块领域的技术、美术呈现力是非常自信的。我们从创意创作开始到全案的落地,都是在自己手里,也会去用到一些工作室的产能的合作,但是都是对于我们虚拟资产制作的补充,而不是把技术放在外面。




XR在虚拟制作领域的优势:还原度高、实时呈现、降低成本

我对XR的理解是对于虚拟预备演播室的一个拓展。XR 的好处是什么呢?

第一点,绿幕背景对人边缘的处理会有一个绿色的异色,并且动起来的时候人物的纸片感会非常重,类似于背后有强烈光照的场景。预备演播室是没办法把光照还原给实拍的人的,但是XR可以做到背后有什么样的光照,前面的人也会受到这个光照的影响。

第二点,预备演播室是没办法在现场实时呈现虚拟景的,但是我们用到 XR 技术的话,我人在这个景里面,现场的观众也好,导演、导播也好,可以实时看到现场的虚拟场景。

XR我认为是非常好的降低成本的一种方式,比如汽车拍摄中,以前可能就是去沙漠等各种路跑,但是有XR的话很多场景可以通过虚拟制作来实现,这个在体育领域用的还是挺广的。



XR设备、实时拍摄、引擎技术的难点

在做的过程当中我发现,在这个领域还是有蛮多的技术难点在里面。

比如说XR通常有两种技术呈现模式,一种是弧形弧面屏,大家见得比较多;第二种就是我们KPL里面用到的三立体的立面屏。立面屏拍摄的范围更大,几乎可以拍到180度,但是它的难点在于三条边的接缝处理。因为镜头在运动的时候,RGB色彩一直在变,我们要在实时拍摄的过程中把这个变化处理掉,背后的算法和算力是比较难的。

在电竞领域,包括在实时直播领域,有一个难点,就是拍摄的摄像机只有一个最佳视角透视是对的。业界的解决方式就是提高刷新率,对于我们的技术是个全新的挑战。我们2022年底王者荣耀世界冠军杯KIC拍摄完成得还可以,在现场真的可以看到他身临其境处在这么一个虚拟环境当中,但其实画面中还是有点视角异动。

我们也挑战了引擎很难实现的一些东西, 比如说实时的虚拟人物。他是一个高精度的人物,同时也要做到实时舞台上的特效呈现。其实引擎比较好做的是一些坚硬的东西,像帷幔、布料这种柔软的东西,我们也做了一些技术上的突破。




虚拟视觉应用场景:虚拟偶像、动画制作、元宇宙

我们自主研发了一套叫VLS的系统,当时我们和项目组合作,项目组的舞美或者视效方案通常只能停留在PPT阶段。我们的系统能做到现场的灯光、大屏、舞美,都能实时做出虚拟呈现。世冠赛基本上用了这样一个技术,之后我们还用在了虚拟偶像的呈现上。

我们还自主搭建了一个光学动捕棚,比较适合做单人的动作捕捉,精度属于非常高的一个标准,可以做PICO这种VR全景的360度动作捕捉的呈现。另外我们和B站合作了虚拟女团的比较适合多人的动捕棚,结合我们自己开发的HDN系统,可以实时地采集人物的肢体、动作,放到虚拟场景中,通过虚拟引擎驱动虚拟的灯光、大屏、舞美,包括很多互动的功能。


我们在3月底一个虚拟偶像生日会,基本上是业界非常顶级的呈现。基于这样的技术,我们就想到了很多动画番剧的拍摄也可以用到这样一个技术。原来做这样一条15秒、30秒的镜头,可能至少需要十几个人的CG工作室,做一、两个月还未必能做到这个品质,现在只需要十几秒,所见即所得。

去年有很多虚拟的、元宇宙的发布会,就是用我们这套技术来做的,视效呈现非常好。我们现在研发的一个AI动捕,渗透性是比较高的。刚才说到的光学动捕棚,建设成本非常高,现在只需要一个网络或手机摄像头就能实现数据接入,全身的动捕效果也还可以,虽然做不到光学动捕这么高的精度,但是对于广大C端用户接入元宇宙的体验,这样就非常好。


 Q 元宇宙如何让粉丝参与到和赛事IP的内容共创中来?尤其在体育电竞的生态中。

567:其实这种粉丝二创生态已经越来越明显,并且越来越红火了。我们现在在做的一些,比如四禧丸子,有些粉丝的二创我们自己都没有见过。他们用的AI可能比我们的想象力还要好。AI降低了创作的门槛,不管在电竞也好,还是体育应用也好,可以看到各种原来被技术局限的创作者都已经加入了进来。

要吸引大家加入IP共创,我的想法就是靠内容和IP引领。比如我们某个赛事节目在哪里,粉丝都会自发去帮你做一些东西。当然我们运营的话,也需要基于这样一个生态去做更多创造性的运营企划。





Hello!
我们在为更加闭环、更加高效的服务模式做准备
欢迎加入限定白名单
与我们一起探索


























您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存