与闫令琪畅聊 SIGGRAPH 图形学前沿及一手求职经验 | 元来是你008
「元来是你」技术交流平台
3D 未来,将是技术革新的未来。「元来是你」平台聚焦 3D 内容生产与消费的相关课题,邀请技术、美术、产品到投资领域专家,交流和探讨前沿技术革新与市场变化,共探 3D 世界的未知与未来。
恰逢图形学顶级学术会议 SIGGRAPH 闭幕和各大技术公司校园招聘开启,在学术和职场双丰收的季节,元象技术合伙人与我们的明星合作学者 - UCSB 大学教授闫令琪博士一起,畅谈图形学最前沿技术与学界和工业界求职一手经验。
本期内容提供三个版本,有B站视频、小宇宙播客和微信长文,欢迎关注收听!
长文版 1.5 万字,阅读约 30 分钟,做了不改原意删减,分为前沿技术、求职经验和观众提问三部分、共 22 个问题,以下问答特别精彩,不容错过!
作为 SIGGRAPH 2019 最佳博士论文获得者,令琪这次发表了什么研究,两位嘉宾认为大会上哪些方向值得关注?
如何看待大会新出的 Conference Track,以及近年来图形学论文增速平缓、论文代码较少开源等现象?
令琪粉丝们期盼已久的离线渲染课就叫GAMES 303!到底什么时候开课?
令琪在英伟达、迪士尼、Autodesk和Weta Digital等大厂实习过,跟在学校做研究有何区别?浩智毕业后进大厂到现在创业,背后的考虑和心态有何变化?
嘉宾们认为公司和学校需要的人在特质上有何不同?应对今年大环境,对同学有什么建议和鼓励?
本期嘉宾
扫码听播客!
前沿技术篇
1. 令琪在这届SIGGRAPH发表多项研究,能介绍一下你的研究和关注领域吗?
令琪:SIGGRAPH是我们实验室及合作伙伴每一年瞄准的顶会,肯定是希望能在这多发表文章,也希望自己的文章能有一些影响力,推动渲染研究的发展。这次我发表了好几个论文,主要前几年各种原因没中,今年刚好赶上,还是比较幸运的。
论文集中在我关注的渲染方向,以及这之下的若干不同小方向。比如:一个比较重量级的工作叫Towards Practical Physical-Optics Rendering*,是我一直在试图回答的问题,在平时我们做光线追踪时我们总是会和一个叫reference或是ground truth的东西,在暴力的路径追踪算法上作比较。
在真实的世界中,光线其实是一种电磁波,它和各种各样的物质发生作用的过程,主要包括一开始的光源发出、传播、和物体作用、成像被人看到,那我们主要研究这一过程,希望利用我们的研究来解释光线追踪是正确的,同时解释它目前情况和真实的物理世界的差距。
* 此问答提及论文:https://sites.cs.ucsb.edu/~lingqi/
我的另一个研究重点是材质*,这次会上有相对不错的爆发。比如我们研究一个光线在微表面上多次弹射,让它可以能量守恒的一个偏理论性工作。
偏实践性的我们也做了一个研究*,比如要把一个小动物的每根毛发都渲染出来,这是一个很耗时的过程,那我能不能尝试用1/10的毛发或者1%的毛发得到和原来一样的效果?因此要回答的一个核心问题就是,如果我现在有一根毛发、我知道一根毛发的样子,那能不能快速告诉我其他100根头发长度,如果能快速回答这个问题,就可以通过非常小的开销,去渲染一个毛茸茸的动物。
另外我也在做一些探索,我称为神经辅助渲染*,之所以不叫神经渲染,是因为我不太愿意依赖于神经网络的解法,或者说我希望神经网络做一部分能够帮助渲染过程的事情。因此我们主要是用神经网络来代替渲染中间的一小部分的工作,用神经网络能够表示物体表面的材质,即BRDF,以及它们之间的相互作用。所谓相互作用是指,假设我们在一个木头桌面上刷一层清漆,透过这个清漆,看到的其实是上层的清漆和下层的木头共同作用的结果,那么这两个BRDF如何共同作用呢?
我们有一个公式可以解答这个过程,第一它肯定能解出,第二解它的过程可能比较繁琐,那么这种非常小的过程就可以交给神经网络来做,我们就用了一个超级简单的两层神经网络,每一层几个节点,比较小的规模,去完成这么一个工作,这也是我想探索的一件事,神经网络到底应该在渲染中间怎么用、是不是需要一个非常庞大的网络,事实证明,没有这个必要,以及是否一定要解决端到端的问题,事实证明也没有这个必要,解决一个它能解决的小问题,才是适合的。
2. 令琪之前也做过用神经网络来表达一些BRDF的内容,这篇研究和过往有哪些差别?对于神经网络想尝试哪些不同操作?
令琪:用神经网络来做一些表示性的工作,本质上是压缩,相当于BRDF是一张4D的表,输入的方向、输出的方向各自两位,总共四位,也就是说它所描述的是一个高额的表。而神经网络本身非常适用于压缩,因此从压缩的角度并不新奇,也有各种各样、不同的神经网络解决这个问题。
我想试图证明的一件事情,就是在进行压缩表示之后,我们也叫Latent Vector,但人们并不知道如何去解释它,即它丧失一定直观性。而我们想研究的一个问题,就是得到的Latent Vector,在神经网络看来,是否可以把它当成一个神经网络自己可以认识的一种operate操作数,比如说在a+b中 a、b就叫操作数,加号就叫操作符。
如果我给神经网络不同的操作数,用神经网络本身做操作符,那刚刚的例子就是给上层的清漆BRDF,再给下层的BRDF,两者都是神经网络压缩过的、即神经网络的操作数,然后我再给一个简单的神经网络,把它们合在一起,最后显现出来的BRDF,因此也是一样在压缩空间里面表示。
我们试图让神经网络知道,在它的压缩表示下,怎么样去操作得到一些新的东西,也相当于一个人类完全不能解释的一个空间里,让神经网络来做这件事情,类似于做了一个所谓神经网络的代数方法,说明神经网络可以做的事情不只是压缩,还有运算。
这个工作和之前就有所不同,比如之前可以看到用各种各样的神经网络来压缩参数化的、非参数化的、测量的,这就是本质的不同,我的理解从一开始就想着运用很多的神经网络都可以来做压缩,不过还可以做得更好,在这基础上做一些改进,所以神经网络这种小事是非常可行的,也非常高效。
关于神经网络,我还想试试不同类型的操作,比如我刚才说分层算是一种,单说BRDF也有好多不同的操作,比如说我可以改变物体宏观表面的方向、从而得到一些效果,本质上相当于我有一个压缩的BRDF、有一个变化法线的方案,然后再得到一个新的BRDF,所有这些操作在人们看来可能比较复杂,但对于神经网络来说,它有一个明确的解,所以神经网络在做这件事情,反倒会比现在的一些方法要高效。
回到刚刚提到的例子,在两层BRDF之间,光线进入第一层清漆之后,它有可能直接反射、也有可能穿过,并且在清漆的下表面、木头的上表面反射走,之后也有可能再反射、再回来、再上去,这是一个无限多的在两个材质来回不同的作用。这个就比较复杂,但是交给神经网络来处理就会容易很多。
因此我想在一个更大的层面上,试图探索神经网络在渲染中应该怎么使用?作为轻度的用法,我还是认同的。而相对比较复杂的在渲染上的一些东西,比如速度、质量要求等,可能相对困难一点,因此目前来说的它在渲染上的探索,我个人觉得并不完全。
3. 今年大会多了一个Conference Track,它和Journal Track的区别是?
令琪:SIGGRAPH今年的一个新变化是,开始引入一个新的投稿方式,即投到Conference Track,而不是投到Journal Track,这两个是相对的。以前SIGGRAPH是一一对应的性质,就是在SIGGRAPH上的所有论文,都会被一期《Acm Transaction on Graphics》的期刊、所谓的TPOG所收录,那么反过来也一样,所有被TPOG收录的文章也都会在SIGGRAPH上做报告。
以前的SIGGRAPH的论文可以认为是Journal track,其中文章会被期刊journal收录,那么今年Conference Track的就只是SIGGRAPH文章,并不会被期刊收录,是否收录还需要专业的评定,但作为SIGGRAPH文章,国内还是相当认可Conference Track的。
那么Conference Track的区别主要是,在不影响创新性的情况下缩短论文的篇幅,要求Conference Track最多只允许有七页的正文,七页足够描述一个好的想法,但可能不用做相关的实验。从出发点来看,主要是因为现在的文章越来越长,我自己是有一篇20页的论文,因此为了说清楚想法,并让我们的文章能够中,可能一些意义不大、需要投入较多时间精力的测试需要省去。
那在今年SIGGRAPH大会,有大约50-60多篇的Conference Track,数量上也是比较多的。另一个角度来看,Conference Track一定程度上也缓解当前图形学领域论文数量越来越少的问题。
至于引入Conference Track的负面作用,可能有些文章质量就是没么高,尽管理论上说是要保证算法的新颖性,但是不管从哪个角度上来说,它的质量多少都会受到一些影响,但其专业程度不一定会随着数量的上升而上升,利或弊哪一个更多还得随着时间推进以后再看。
4. 之前做SIGGRAPH通常要做一个很精美的视频或demo,现在还有类似要求吗?
令琪:这个要求会降低,但有些情况下还是需要必要的实验,不再像之前投Journal track大家约定俗成提交一个video,从解放工作量来说 Conference Track还是很成功的。
另外补充一下,视频其实不是所有的文章都需要,而且往往渲染它并不一定需要一个视频,会有其他的一些子方向,比如现在的一些文章可能需要展示在时间上的稳定性,我自己就在考虑,不通过视频也能证明,实施起来也很不错。
5. 和很多Graphics的会议或期刊相比,SIGGRAPH近几年规模较小,整体似乎没有增长,令琪是怎么看的?
令琪:这个问题我觉得确实客观存在,单说图形学这边,19年SIGGRAPH录用的文章是90多篇,也就是那个时候,人们开始研究在图形学如何产出更多的文章,让这个圈子壮大起来,所以就有了各种各样的解决方案,Conference Track就是之一。
单从国内的分级制度来看,如果是我,可能会把CGF、EGSR、PG这些类型的期刊变成a类, SIGGRAPH和TPOG的话可以变为S类。那我觉得这样的的话,多少能平衡一些,可以极大刺激国内的通讯发展。目前国内很多顶尖高校确实直接去数SIGGRAPH文章,和隔壁做计算机视觉的实验室数CVPR的文章,那确实没有办法比对。
我当时毕业的时候还挺自豪,有很多SIGGRAPH,相比一年级视觉领域的博士生,那确实完全不够看。自己当了老师之后,也经常和其他老师聊,大家都知道目前计算机系里有大量的年轻老师是做机器学习和相关应用的方向,比如MLP相关,相对来说会比SIGGRAPH容易一些,那这一领域的老师们就不得不扩大自己的实验室规模,否则在同一个领域里面竞争大家就会处于一个非常吃亏的状态,因此也就要求老师们不断地去写proposal,才能去招更多的学生。
渐渐的就会引起两件坏事,一是让老师自己从实验室里面能力最强的角色,变成了一个领导、一个经理的角色;二是会让这个产业变成劳动密集型,对于学生来说,渐渐对于这个领域失去兴趣。
不管是图形学,还是视觉研究,它都是跟时代有着密切联系的,而现在我们处在一个广泛应用机器学习的时代,那自然会出现这样的结果,早在多年前甚至20年前,也有大量的人在做图形学实验。
从历史的角度上来,我觉得这件事情正常,回到个人的角度来说,主要还是看个人选择、或者说情怀,比如说我自己,不管它是难还是简单,自己有兴趣就会去做、去坚持。领域的发展也跟时代有着一定的关系,至于说这个时代应该往哪个方向走,就目前的情况图形学的研究并没有那么热闹,因此反而机会会更多。
6. 这次参会有没有一些有意思的话题,或代表了某个趋势、大家关注的方向?
令琪:今年SIGGRAPH上可能对于我个人来说,感兴趣的话题相对少了些。我个人的参会程度不如从前;另外一个是现在SIGGRAPH上有很多文章不再是纯粹地做渲染相关的工作,我能够学习到的东西相对较少。
即便如此,今年仍有一些非常亮眼的工作。单从渲染来说,有一个是在研究怎么样更好的用russian roulette来决定一个路径的长度,这是一个荒废了很久的一个话题,我觉得非常不错。
还有一些关于光线追踪的研究,如光纤光线应该怎么连等等,以及我也看到了前面提到的小规模的轻量级神经网络用在渲染上的研究,这一点的应用也越来越成功,是一个非常好的趋势。
还有一个典型的例子,是adobe做的一个工作,用神经网络去学习一个高度场,当让它贴在物体表面的时候,从侧面看过去有各种各样的轮廓等等,相当于用神经网络做一个displacement map。
今年有一个变化是评选best paper以及honorable mention等等,今年有一篇best paper,缩写叫NGP neural graphics primitive, Thomas Muller的文章,这个研究是在非常短的时间内让神经网络学到任何一个高维信号的表示,我觉得这是一个非常不错的事情,对于神经网络来说它想学一个高维的信号,这个信号本身类似一张巨大的表,首先把这张表里的数据压缩,这需要花很多的时间,但对于神经网络来说,如果有一个方案可以快速地实现压缩出来,那不管是描述五维、nerve神经辐射场、还是描述三维的SDF,那就给了我一个非常不错的启发。
论文来源:https://nvlabs.github.io/instant-ngp/
对于应用一些图形学的知识,并结合一个非常简单的神经网络,比如说MLP,那它就可以完成很大的一件事情。所以我觉得今年SIGGRAPH是有很多不错的工作,我觉得收获是非常大的。
在这次会上还倾听了大家的报告,因为疫情,很多老师被迫为学生做报告,效果还是截然不同的。还有一点是,参会过程可以接触到各种各样不同的人,可能是在一个session里的同辈研究人员、或听过名字没见过面的科研组的老师学生等等,也参加了很多公司安排的活动, 也可以了解到各种各样不同的人,互相分享研究之外的生活等等。也非常幸运的见到很多领域里的上古大神,包括Turner Whitted 、两位图灵的获得者等等,收获满满。
7. 浩智有没有关注SIGGRAPH上的内容,哪些是你觉得在未来的项目中或落地中有参考价值的?
浩智:我个人目前关注较多的,一个是NeRF或类似的将神经网络当作渲染过程中的lookup table的用法,就是怎么去把渲染过程中的一些东西存到神经网络里,并用在NeRF、烘焙等不同方面。
另一个是动作生成的相关工作,例如DeepPhase,这篇论文的相关作者最开始在2017年就尝试用phase function去表达角色的行走动作,根据不同的环境去预测角色下一个步的动画。今年这篇DeepPhase做得更通用了一些,除了做行走相关的locomotion,还可以跳舞、踢球等等,将这些都统一起来了。恰好这也是今年的best paper之一。
论文来源:https://github.com/sebastianstarke/AI4Animation
我有了解到,除了我们在关注这个领域,一些游戏行业的其他同仁也在关注,像黑神话悟空有在用类似motion matching的东西,但原始版本的motion matching会有一些问题,包括存储数据的空间大小、运行时计算量等一些问题,所以近几年来人们一直在尝试用神经网络的表达做一些改进。
商业化这块的路径我们最近有几个蛮有意思的合作,例如跟腾讯音乐的虚拟演出的合作,支持了像阿迪达斯、百事可乐这样的商业演出,其中角色舞蹈的动作捕捉我们使用的是自研的基于RGB单目摄像头的视频动捕方案(详情介绍),它的优势在于实际生产过程,不需要动捕演员和我们在同一个地点,甚至他在家中或在附近找studio排练厅等就可以自己录制视频,然后我们就能直接用从视频中提取动作,之后再进行一些后处理,并加上一些基于物理的碰撞、或是基于人体关节点能够转多少度的先验,以及一些人工修复的瑕疵,后面也会考虑到物理重力或是摩擦因素去做进一步的后处理与优化,最终形成与百事可乐合作的虚拟演出,实现不同角色唱歌跳舞的节目效果。
另一方面还有一个有趣的应用,我们与一些电商、珠宝品牌合作,比如最近和I DO钻戒合作,为他们做一个虚拟商铺,与一些大型的电商平台中心化的流量不同,我们的方案可以通过商家I DO自己的小程序就可以进入到3D世界,在这个场景里用户可以点开任意钻戒做360度的浏览,也可以与其他用户互动,以及公司产品部分的同学也设计了求婚的交互小环节。我觉得目前处于一个探索阶段,这些都非常有意思。
求职经验篇
9. 令琪为何当时会选择进入学术界,而没有选择加入一家大公司?
令琪:不管是学术界还是工业界,当时其实是两手准备的。大概17年的秋天就开始准备各种材料准备投到各个学校,找各种各样的老师帮忙写推荐信,一直到4月底、5月中才算是拿到Santa Barbara比较不错的一个offer,自己的命中率是比较低的。
当时整个渲染领域里面做的人就比较少,很多学校是不要这个职位的,或者说他们自己不知道要招一个这样领域的职位,所以当时投了很多简历都石沉大海,是一件很坎坷的事情。当时我投了很多,教授说我这个领域方向命中率会比较低,给我的建议是让我多投一些学校、哪儿都投,我就投了非常多院校、大概40多个,一般情况下可能投20个。之后我面试了大概4-5个,拿到offer的有2个, Santa Barbara这个自然是我觉得非常好的,最后我也就来任职了。
那在工业界17-18年,各个领域和方向都是非常需要人才的,我自己是非常顺利的,基本上没面试,主要根据之前实习和相关方向和人事聊了一下。之后我一直拖到5月,想着如果再拿不到,自己就要准备去面试了,已经安排英伟达一个一天的面试行程。
总的来说,通过我个人的真实经历,学术界是到处碰壁,而工业界的话感觉各方面都有需求,而在现在这个时代,我觉得工业界的应用会比之前更多,一个是实时光线追踪,另一个是有渲染方面,比如对实时渲染现在有比较高的要求,也有很多各种各样、不同的新的东西可以尝试,比如移动端应用、自己研制的引擎,这些对于元宇宙本身来说是一个重大的推动,这一方面我觉得元象就有着非常不错的机会。
学术界的话,我个人理解的话,一定程度上是需要一些情怀,尤其是在美国这边,工业界的工资很可能会比学术界的工资要高出三倍或更多,还取决于在哪里自己能够发挥更大的价值,选择在学术界有一个好处是可以研究自己想要研究的东西,而这公司的研究可能不一定和自己想做的东西一样。
10. 令琪也在英伟达和迪士尼的研究机构实习过,请问工业界和学界做研究有何不同?
令琪:我的理解是,工业界和学术界的区别,主要是工业界不太能够自己决定要做什么。有时候工业界需求,一定程度上在各种研究的部门也会有所体现,比如说A media一直到现在都在强推实时光线追踪,这些对于渲染来说仅仅是一个方面。
另外一点,我希望自己能够在很多不同的问题都涉猎一些,而自己时间有限,那在学术界的话可以自己带一个组,相当于自己产生了很多小分身,同学们在做这些工作,相当于是可以更快的地把自己脑袋中的想法尽快得到验证,从这个角度来说,学术界还是有一定优势的。刚刚提到了,很早之前,我自己是不太希望把自己当成一个所谓的manager去看,即便是自己带一个团队,也希望自己是最能打的一个,能够带着大家解决一些问题。
还有一个,是个人性格问题,和工业界的朋友们一起吃饭的时候,饭桌上会经常聊几个话题,股票、第二套房、孩子等等,感觉自己如果要去工业界的话可能需要天天聊这些话题,希望自己还是有点自我价值,不太希望说自己去做一个典型的个人性格啊。但后来去了学术界,我发现自己错了,在学术界也一样老师们聚在一起也会聊很多,比如我又投了一个founding proposal、我又招了多少学生、我又发了多少CVPR,我觉得和工业界还是一样的。
我后来就是说不管在哪儿,比如说现在把我送到工业界,还是可以实现自己过得跟别人不一样。那给大家透露一下,在学术界我还有还有1年多就要评终身教职,我希望能够创造一个Zero Government Funding,也就是一分钱也不从政府拿的情况下还可以拿终生教职这样一个目标。因为,我也不需要太大的的组,几个同学、每个同学能力都很强,能做非劳动密集型的工作,那我觉得这就是一件非常对的事情。
总的来说,这几年我自己也在进步,工业界、学术界现在的界限也是比较模糊,而如果说在工业界的研究部门一样可以做的非常好,关键是看自己的选择和想法吧。
11. 也请浩智分享一下工作历程,从毕业进大厂到自己创业,心态上有哪些变化?
浩智:当初博士毕业,在学校做研究、做老师是一条路,但是当时我发现,自己做出某些新技术、最终被人用到会让自己感觉非常有成就感,也非常开心,感觉它能够影响到很多人。当然探索某个技术领域一些前沿的东西,这个也是能够获得快乐的,我想在里面试图获得平衡。
自己一开始找工作看的都是游戏行业的岗位,包括当时去了网易游戏去实习,当时实习主要做texture压缩,用CUDA做并行加速、写texture的各种压缩和解压算法等,常规的一些优化的东西也是非常有意思。
我后来没有去网易,当时同时也有在面试腾讯IEG的某个部门,而正好是在面试过程腾讯成立AI Lab人工智能实验室, 所以那边来找我说要不要尝试在工业界做研究,因此我最终没有直接去到游戏行业,而是到了一个大厂,这有点像刚才提到的中间状态,一方面是觉得深度学习配合上传统图形学、以及计算机视觉方面的一些知识,能够去做出一些新的应用,并且在大厂里能跟不同的产品有接触,像腾讯这样丰富的产品线,当时就想象着可能自己做的各种东西能在产品中用上,而且因为加入了一个研究机构,自己也不用太关心每个产品具体实现的一些琐碎细节。
但之后发现,当你做出一个新的功能、或有一些新的算法要去运用到产品的时候,这里面是有阻力的,不同的产品部门有各自的目标,对于是否用Research lab做出来的东西其实是可以去选择的、不一定需要去做这个尝试,可能用一些老的方法也能实现。
不过在大厂做这些研究或者算法的探索,最终想要去给用户使用到也不那么容易,当然相比在学校做研究相对容易一点,所以后来选择离开腾讯,来到元象这样一个初创公司,原因也很简单,我发现还是需要去融合,一方面能够去探索新的算法或者一些新的技术,从中获得快乐,另一方面能够掌控产品从0到1的整个生产过程,才能保证我做的新的东西最终能用上。
因此选择到一个初创公司,可以更内聚一点,不同部门之间的隔阂少一点,自己能够掌控全局的东西多一点,这样才能够去达成我的一个目标,也就是一方面想做新东西,另一方面希望这些东西被人用上。
12. 假设有一个时光机器让你切回,并重新选择对面的一个优点,到现在的生活中你会选什么?
令琪:工业界给我的感觉,就是生活其实更简单。我感觉如果我博士毕业之后去工业界,还是可以延续自己学生的身份,主要关心自己手头要解决的任务,并发挥自己聪明才智、把之前学到的用进去,其实也相当于自己在博士期间做的工作,所以从这个角度,进入工业界相当于换一个环境、换一个老板、换其他的一些需要攻克的项目,不管这个项目是更偏工程、还是更偏科研,刚才师兄也提到的一点我感同身受,确实在工业界的很多情况下,你会发现传统、陈旧的技术确实能解决问题,新的一些科研相关的不一定能立马落地。
但是我不抵触这个问题,不管从怎样一个角度来说,从自己学生时代到,比如说去工业界都还是一种单兵作战解决一个问题,当然学生之间也会有各种各样不同的合作,这是我觉得工业界一个非常好的一件事情,生活简单很多。
学术界这边的话,当了老师之后会发现,很多问题是必须得帮学生挡下,比如很多行政上的报销、采购,才能让学生可以专心、专注于科研。
我见过太多老师们抱着研究热情留在学校,但后来不得不一直写各种各样的founding proposal,在这个圈子大家叫它为本子,虽然我也不知道为什么、我自己不这么叫,天天写这些东西我自己就不喜欢吧,但这也是所谓的in the game play the rules,我既然选择这条路,那这些规定、这个不好的事情,自己就得承担。所以从我这个角度上来说,工业界是比较简单,我觉得这是特别好的。
浩智:假设当时我去做老师,也能获得快乐,因为其实在工业界lab那段经历跟在学术界做学术没有很大差别,例如在腾讯AI Lab也是会去看一些新的东西、投论文、带学生,但在这里面跟老师有一个很大的差别,是延续性。
在工业界做研究的状况,首先一方面是做的主题可能是公司当前关心的,它有可能会切换,但不一定是你的个人意愿,这里面也涉及刚刚令琪说的研究自由度的问题,因为如果在学校选择做什么其实是在为自己负责,即便我这个方向比较冷门,我少拿一些funding,我也能延续下去继续做,这相对来说是一个蛮自由的过程。
另一方面是,在工业界有可能你的同事会跳槽,特别是在互联网跳槽的频率不太低, 或许三年后他就是你的竞争对手,以及你在公司里带学生,学生待的时间能到半年已经非常长了,当然也有一些年轻的同事在团队里面一起工作。所以延续性和自由度这两点,我觉得是挺羡慕的。
刚刚回想了一下当初没有选择去做老师的一个关键因素,就是写funding proposal,而在工业界想要去propose一个东西,主要看是这个东西的实际作用,或者是商业价值,但是像funding proposal需要写更复杂的东西、一些装饰性的东西。
令琪:我再简单补充一下延续性问题,自由度就体现在它能不能有一个长期的计划,这个应该是只有在学术界有的。而在工业界的话往往由于盈利角度考虑,不太容易能够做的比较长期,这个也得看公司文化。
回到刚才师兄说的funding proposal,写这些要打破在学校学的一些逻辑,你不需要任何论证,直接给结果,这件事情我非常不适应,我不喜欢这个运作方式,但这是这个领域的规则,这几年也一直在尝试不这么做,很多老师一年会投好几个,我一年能投一两个差不多。
13. 请简单概括一下哪些个人特质,推荐他进入学术界或是工业界?
浩智:最近互联网行业是有一些hiring freeze等状况,如果要去做自由的研究,最终归宿我觉得还是在学校、或类似中科院的组织、或国外的某些科学院,这方面的话我觉得至少有2个特质,一个是尝试某些新鲜东西,你能够获得天然的快乐,并且能够获得非常大的满足。
其次是天真纯粹一点、杂念少一点,不然你会被很多外在的各种因素影响,因此需要靠你的纯粹、持续做新东西获得快乐的感觉,支撑你走的非常远。
工业界的话,关键因素之一是,你觉得你做出来的东西被人用到会很开心,那可能在工业界会更好,其次是你需要去适应一些需求,也就是客户是上帝,或者说你的产品需求是刚需的时候,你可能需要去做一些适配,去用不同方法解决问题,它不一定是你最想去探索的新的方向、很有可能是一个mix的方法,如果我们发现捡起来的是某个旧武器也能解决问题,那也是ok的。
因此通过掌握自己的武器库,运用不同的武器去解决问题,你觉得这个过程是快乐的,那我觉得去工业界可能会比较开心。
令琪:我想说的一个是,在学术界可能更多需要的理想,我觉得这个才能支撑自己在这个领域下走下去、并获得成就感。如果从现实的角度考虑,工业界这边是一个更好的选择。
从另外一个能力的角度出发,如果我们把人的能力分成若干种,可能会画一个是六边形,工业界的的话可能需要掌握两件事情,一个是个人能力,即执行力、是否能够很好地完成一个任务,另外一个是和别人合作解决问题的能力,相当于在一个团队中扮演的角色问题。
而学术界的话,你需要一个六边形,各方面能力多少都需要一些,比如在学生时期需要随时去做一个报告、甚至没有ppt的情况,以及写作,这些在学术界是不可避免的。
我没有特别强调说研究想法方面,是因为在学术界这取决于你所要扮演的角色,如果当管理者也是一种选择,也能够把自己的小小实验室运营下去,这其实挺像是开一个小公司,不一定所有事情亲临亲为,反映到实验上就是学生们自己能渐渐掌握科研方法。
因此我的理解是,想要在学术界这边需要的能力是多面的,并不是某个突出的,那对于工业界来说,我觉得非常重要的,是能够迅速解决问题并能够做出真正有用的产品。
14. 在今年的大环境下,对毕业同学们有哪些建议或鼓励?
浩智:首先我的一个观点是也不用太悲观,这个时期也是蛮有价值的,因为通过这两年你可以真正穿越一个周期,而不是只看到某个行业的上升阶段,也看到了它的下降阶段,在亲身经历这个下降阶段后才会发现,过程中哪些东西是真的有价值、或者说能够让自己持续走下去。
那从学生找工作的角度来看,今年毫无疑问就是直接进大厂的招聘名额少一点,这是客观现象了。一个方面,当然是全力去做准备、展示,也可以开拓一下思路,不一定大厂是最好,职业生涯第一个选择关键的,还是需要看这个公司所做的方向和自己感兴趣的是否契合,这样你的整个工作状态都会好一点,也可以和面试官聊一下看看这个岗位在2-3年内是否能有一个比较好的成长,过程中怎么样让自己个人的状态不断升值。
大厂通常能够提供还不错的机会、还不错的培养机制、还不错的工作内容,从这个角度看有点六边形,当然也不一定,你也需要去做更多的功课去筛选除大厂之外的公司,甚至某些你更关注的领域、更关注的一些方向,可能是一些小公司更加突出的,也能获得类似六边形的感觉。
15. 浩智提到行业的基本现象,图形学领域也有这种严重情况吗?
浩智:图形学这边反倒是周期性的在上升,最近无论是做3D内容,还是元宇宙这块需求都非常大,以及还有两块很刚需的地方,就是游戏行业以及影视动画,这些类型对同学、人才的需求是很强的,但另一方面,这方面人才也比较少,其实就图形学领域来说,找工作还是比较简单的,从最近两三年状态、包括后续,但以后就不一定了,因为事情是发展的。但从整体宏观来看,今年各类型的岗位都会稍微难一点点。
令琪:我夫人她的经历中,是先去小厂工作,她先学海洋生物,之后转型计算机拿了了双硕士,然后去一个生物类的初创公司,再在美国这边做人体微生物检测、健康推荐饮食等等各方面。他后来去了linked in大公司,我从她的工作状态来看,感觉她在两边都挺开心的。
我觉得单讲图形学的工作岗位上,大小公司它会有所区别,所能够做出来的事情、所要求的东西其实都不一样,那个人是可以选择不同的体验,我觉得这是一个非常好的事情。
浩智:上一个周期是机器学习,在我刚毕业的时候深度学习能力还蛮弱的,那个时候在学校做深度学习机会并不多,只是做过一些车辆检测等等,但是后来就赶上AI浪潮,因此在工作期间会学得更多。
16. 令琪会鼓励大家多去做图形学、或希望更多的人进入这个领域吗?
令琪:从各个角度,我都会的。首先,因为自己是做这个领域,我希望这个领域能够被做的更好。另外我也知道,这个领域还有很多有趣的问题需要被攻克,这本身说非常有意思,并且具有挑战性。
其次,图形学这个领域很多东西,如果一旦能够做出来,对于像元宇宙这些是具有重要价值的,比如说实现在虚拟环境中能够重现人们平时能够看到的真实的东西等等,相当于元宇宙给了图形学一个非常好的机会。也希望图形学能够被更多人接受、更多人了解,并从而决定自己是否喜欢这个领域,我也相信有很多的同学还是会愿意来做这个领域的。
浩智:我其实也在反思一个问题,从学生角度来说,假如当他看到某个行业处于上升周期,选择去学习它,那有可能在将来找工作的时候,这个行业已经不火了,比如最近3-5年学深度学习的同学特别多,但会发现到今年凭借这个技能去找工作其实并不容易。
也就是说,当很多人都拥有了这个能力后,大家需要在同质化领域中做竞争,而如果当初自己并不太喜欢这个方向,而只是为了行业处于上升期,就选择进入这个领域,那可能将来在这个行业下行周期的时候会很痛。因此虽然我也非常鼓励大家去做图形学相关的东西,但可能还是需要想清楚,自己是否真的感兴趣。
令琪:从我个人选择来看,我完全没考虑实际的这些事情,当时计算机专业的规模挺大的,但是完全没那么火。从我13年开始读博士的时候,大家才开始说到深度学习、机器学习这些概念,大家都在做深度学习方面的,我当时也是一直在做传统的渲染方面的研究,也没说根据当时情况进行调整。
一方面是个人兴趣问题,另外一方面是在学机器学习的过程中,我觉得自己并不适合,比如推导各种上下限等等理论、以及各种各样的模型。
从现在来看,我自己是把机器学习作为一个通用工具,掌握到一定的程度、尝试过一定用途等等。所以我觉得,不管任何时候,都需要有自己判断,综合自己的喜好以及自己对于这个行业领域未来发展的预测。
17. 目前图形学在国内是处于一个比较火的阶段吗?
浩智:对的,大家可以看到国内包括元宇宙领域的初创公司、游戏行业等等,当然游戏行业因为政策问题今年不一定会是快速发展的状态,但现在越来越多的国内游戏厂商能够出海、在海外跟游戏巨头做较量,而且国内手游是处于相对领先的状态,机会还是非常多的。
观众提问篇
18. 令琪老师的离线渲染课程,什么时候会上线?
令琪:现在虽然还没有官宣,但基本已经确认GAMES 303是会开的,课程的课号是303,估计明年年后会更新出来,和之前开101、202的时间差不多。
另外这个课程,可能相对较难,以3开头确实是有一定道理,本身有一定的专题性质,可能涉及的内容与渲染过程相关,尤其这门课会和离线渲染相关,那就会涉及到一些非常困难的数学、物理的东西。我的理解是这门课,更多地是作为科研的储备,如果你对渲染这方面的科研有兴趣、对图形学衍生的相关领域有兴趣,那这门课对于科研储备来说,是完全可以去学,并且非常有好处。
关于这门课,我应该会和其他老师们一起合作,就不再是我一个人来讲,因为离线渲染这一块涉及到的很多内容确实比较难,比如说我自己可能擅长若干方面,而其他老师则擅长其他方面等等,我们会一起协作把课程出好。因此大家可以期待明年的年后课程的推出!
GAMES101 https://www.bilibili.com/video/BV1X7411F744/
19. 以前SIGGRAPH图形学会议的论文代码很少开源,因为系统复杂、工程量较大,结果也比较难,想了解一下近年来的情况有好转吗?
令琪:图形学从历史的角度来说,它就很少开源。以前的话工业界推动,工业界发文章,很难把文章中的工业界实现拿出去。
那现在的话,各个方面都在试图推进图形学方面的开源,其中有一项挺重要的是,以往如果说一篇文章作者承诺要提交代码、或是被建议提交代码等等,提交代码是会作为论文是否中的一个要求,那从今年SIGGRAPH开始这一项是被严格执行,所以说大家都在尽力解决这个问题。
另外一个现在图形学的开源,我觉得比以前做的要好很多,比如China Graph在评一些优秀的图形学开源项目。因此从各方面来说,大家都在试图做出一些努力、试图让它开源。但确实现在开源的现状是比较难的,刚刚提问中也提到了,就是系统复杂、工程量大、难以复现,往往实现的话,需要提交一个大量的代码,但是我相信会有一些好转。
浩智:一个方面从旧的历史来看,是因为工业界有些工作,可能不太愿意给别人看到,比如有一些很直接竞争关系的对手,但如果他觉得开源不影响竞争力,也是可能会选择开放。这背后的主要逻辑,是因为graphic的某些应用是和工业界有非常紧密的联系。
另一个方面,也是与大家的心理状态有关,大家花了非常多的力气去做这个工作并建设出来。一旦开源,或许会有同学觉得别人很快就能复现,但我觉得这其实是一个迭代的过程。
今年SIGGRAPH有了conference track,我觉得与开源也有关。因为conference本身做的工作,它的代码量或者系统可能没有那么复杂,那可能它是一个相对简洁的、能够测试想法验证、代码量少很多的代码。这种情况下,愿意开源概率会更大,最后还有一个方面,随着非工业界参与的工作越来越多,开源这方面可能也会有一些改善!
20. SIGGRAPH和SIGGRAPH Asia有什么区别?
令琪:我觉得没有什么区别,当然也有听说一些言论说,SIGGRAPH Asia没有SIGGRAPH那么权威,但不管怎么样,都是在同一档。举个例子,如果我有一篇论文,是投到SIGGRAPH、还是SIGGRAPH Asia,我自己是不做选择的,哪一个更近、哪一个能投,就投到哪。
21. 大厂和小厂对于个人成长的帮助有什么区别?什么样的毕业生适合选择大厂或者小厂?
浩智:我个人感觉是,进入小厂或者说初创公司,类似双刃剑,一方面是你承担的压力会更大,另一方面是你做出来的东西对最终产品的影响更大。创业初创公司它整个人员规模要更小,本身要去做的领域、或者迭代更新、或者想尝试方向会稍微多一点,那这个时候你做的模块通常是很有可能被最终用到产品之中,即便你是一个比较年轻的同学。
另一方面,需要鞭策自己把这个东西做好。因此,你自己也能够更快地学习,能够去真正地获得这种自己做出来的东西被其他人使用到的成就感。
那在大厂里面,相对来说是更平稳一点,试错成本更低,通常来说你的mentor不会给一个非常年轻的同学布置很重要的任务,你通常做一些尝试,可能失败了也没有关系,当然成功了那是非常好的,但是可能它不会对最终产品有非常的大的影响,是一个循序渐进的过程,你们可以去了解到这样一个状态,所以我觉得这是一个差别。最后大家可以想象一下自己对哪种工作状态更加喜欢,从而来去选择了进入大厂还是小厂。
22. 请分享一款喜欢的游戏或动画
浩智:首先我艾尔登法环没打完,打了一半、时间不太多,主要他比较难上手。最近尝试了一个网易的一款游戏,叫永劫无间。我觉得做的还是不错的,一个方面它发在pc平台,另一方面它角色整个的渲染品质,我觉得蛮好的,比以前国产的一些游戏是有一些提升的。
令琪:上次采访的时候,艾尔登法环刚出,我现在已经通了,虽然是一周末通的,但我觉得还是没那么容易。还打了两个游戏,漫威蜘蛛侠我打通了,这个我觉得做的超级好,手感各方面都挺不错。
另一款是国产游戏暗影火炬城,我觉得质量非常不错,我们管它叫类银河恶魔城风格游戏,我小时候就很喜欢玩。目前国内的游戏确实做的越来越好了。最近又看了黑神话悟空最新的宣传片,也在参与讨论说女妖精到底是谁。
游戏这块儿,我是少不了关注的。最近听说 switch会上斯普拉顿3,我自己是很期待这款游戏的,到时候准备叫上小伙伴们一块玩,最近仍然还在apex冲段位。
《黑神话:悟空》6分钟实机剧情片段