18年专攻Web3D,专访同济教授贾金原:真信仰生发真信心|中国元宇宙100人
撰文|王俞现(元界主理人,元界智库创始人,著《权力、资本与商帮》)
因为在Web3D领域的领导力与地位,下半年来,同济大学软件学院教授、智慧三维图形实验室主任贾金原教授,被邀请参与国内并筹划全球有关轻量级Web3D技术标准的制定工作。
18年来,他矢志不渝于Web3D领域,没有动摇,冷暖自知。
“我做了有十年的冷板凳,之所以‘冷’,就是没有像样的东西出来,总是觉得被冷嘲热讽,自己也一度灰心丧气。2012年开始,我痛苦反思,开始操练内心,慢慢就安静下来,得力于平静安稳,也就更有力量支撑下去!”他说。
我说,“这个是内心深处的力量,刀枪不入。”
他说,其实人性是软弱的,也经常会摇动,但是每次动摇的时候就会向下扎根,摇动的越多也随之信心越发坚固,以致于最终成为不可动摇!
“耐心是对真正信心的考验与淬炼,真正的信心一定会生成恒久忍耐,而信心的源动力就是信仰,真信仰生发真信心!”他说。
这也是他对在Unity和Unreal两大主流重量化3D引擎之外,中国以换道领炮的姿势,开拓全球元宇宙轻量化Web3D引擎的新时代的信仰与信心。
与他的对话,用心灵展开。执着、纯粹、细腻、热忱,这是一位中国本色科学家的真正风采。
本期元界“中国元宇宙未来产业100人”访谈,我们将目光瞄向贾金原教授,并将分两期呈现他的内心世界及他对Web3D、元宇宙、AI之于Web3D等话题的观点。
这将是元界第一次在100人访谈中分两期对同一嘉宾做内容呈现,此为上篇。
元界,也有幸成为多年来首个对贾金原教授进行深度访谈的媒介。
“中国元宇宙未来产业100人”访谈
【指导单位】
中国文化产业协会文化元宇宙专委会
中国移动通信联合会元宇宙产业委
中国元宇宙技术与应用创新平台
【小贴士】
2017年与2018年,他两次担任中国虚拟现实大会(ChinaVR)程序委员会主席。
2015年与2020年,他两度担任国际Web3D领域的最高水平会议——ACM Web3D大会的程序委员会主席。
2021年,他创建中国图学学会网络图形学(Web3D)专委会,并担任主任。由专委会发起的中国网页图形学高峰论坛(ChinaWeb3D),已经连续两届被中国科协评为重要学术会议。
全球经历三个发展阶段
18年,与Web3D不离不弃
元界:Web3D在全球经历了怎样的发展历程?
贾金原:Web3D跟元宇宙一样,起源于1992年,其发展历程大致分为三个阶段:
起初Web3D发展很快,第一个国际标准VRML发布于1997年,第二个国际标准X3D发布于2004年,但此时浏览器均需要安装一个插件才能浏览3D内容,用户感觉不太方便,发展受到一定的制约,这是需要安装插件的第一阶段。
伴随2010年Adobe推出Flash3D,Web3D进入免装插件的第二阶段,很多Web3D应用被开发出来,Web3D得到快速发展。
2014年WebGL(Web Graphics Library,是一种在网页浏览器中渲染3D图形的技术)的推出与4G网络的到来,让Web3D发展进入第三阶段,便捷性和跨平台所带来的普适性,使其越来越受欢迎,各种Web3D应用开发与工具越来越多,Web3D进入长期而稳定的全面发展期。尤其是元宇宙时代的到来,使得Web3D的发展出现前所未有的机遇。
元界:你从什么时候开始从事Web3D领域的探索?
贾金原:我1991年获吉林大学数学研究所计算几何专业硕士学位,2004年获得香港科技大学计算机科学系图形学方向博士学位。2005年,我开始Web3D的探索。
最初在吉林大学珠海学院工作期间,组建了以大二/大三本科生为主的Web3D工程开发团队。这段期间发现了不少困扰Web3D应用的痛点与瓶颈问题,但因没有研究团队而无法开展研究,这也为我2007年后到同济大学开启轻量级Web3D关键技术研究埋下了伏笔。
2007年,我被同济大学软件学院引进为学科带头人,就在同济大学确立了轻量级Web3D关键技术研究方向,组建智慧三维图形实验室团队。
元界:期间一直没有偏离过Web3D?
贾金原:虽然非常坎坷,但我从来没有变换过研究方向。既然踏进这一领域,也发现了瓶颈和亟待突破的关键技术所在,就顺应天意,充满使命感,应对挑战。
元界:怎么描述这种瓶颈?又反过来对研究产生了怎样的影响?
贾金原:Web3D在过去的30多年里发展缓慢,主要原因是存在难以突破的技术瓶颈与痛点。我总结主要是三点:三维模型太重、网络传输太慢、网页在线渲染太卡。这既是技术瓶颈,也是三大痛点。
元宇宙的三维场景规模趋于无穷大,在线访问人数也是趋于无穷多,放在线上数据体量实在太重,数据规模实在太大,文件粒度实在太粗,网络传输速度实在太慢且太卡,网页端渲染帧率太低,经常容易崩掉,且渲染效果太差。所有这一切也导致Web3D应用,始终无法跟传统的离线3D引擎(Unity与Unreal)相比。
关心Web3D应用并研发的人士,缺乏研究能力与研究环境,无法突破这些技术瓶颈。而图形学专家学者很少关注这些问题,少数人虽然关注,但短期无法突破,浅尝辄止,所以持续开展Web3D研究与探索者,少之又少。也就是起初广受欢迎,异常火爆,很多人热衷研究,但慢慢地绝大多数人离开了。
受IEEE标准委员会主席袁昱博士邀请,2023年7月6日参加在上海举办的世界人工智能大会WAIC的圆桌会议,左二为贾金原教授
元界:你经历了怎样的心路历程?
贾金原:前十年的各种探索,用一个词来描述,就是“举步维艰”,可以说遭遇到了各种意想不到的挫折与黑暗,经历了多年不断的尝试和缓慢磨合。
Web3D里有太多的坑需要趟,遭遇挫折、经历黑暗也很正常。除了技术突破本身的黑暗之外,还有很多其他的痛苦和黑暗;我起初在珠海,为没有研究平台和研发团队而发愁。
到了同济之后,很多学生看到Unity、Unreal这类离线引擎发展得风生水起,看不到Web3D的未来,并不愿意研究Web3D,大多数学生很逆反,那时我们从思想到行动并未取得彼此共识。
所以,我将前十余年视为鲜有进展的跋涉期,发不出高水平论文,拿不到国家课题。包括学术圈在内,大多数人并不看好Web3D,最黑暗时我曾经长达十年未拿到国家自然科学基金,只能靠一些横向项目来艰难度日,研究能力与水平也广受质疑。
不过,这18年我都挺过来了。
暗自期许
窄路才是正路,窄门才是天门
元界:如何挺过来的?在科学研究的道路上,你有“走窄路”“进窄门”之说?这是对自我的暗暗期许吗?
贾金原:刚研究Web3D时,当时是2G时代,网速慢,带宽窄,但用户要传输的场景规模与复杂度,越来越大,对初始加载等待时间要求越来越短,这便是我将“三维互联网传输”称为“走窄路”的源起。
网页浏览器算力和缓存比native(原生的)本地端小得多,根本无法渲染出大规模场景与高品质效果,所以我将“Web3D渲染”视为“进窄门”。面对大规模与海量多人在线的Web3D元宇宙来说,这条路就更窄了,这个门也更窄了,而且只能越来越窄。
我也饱受“走窄路”“进窄门”的双重折磨,但我对人生的各种挑战都很适应,坚决不回避问题,尤其是不回避瓶颈问题。我一直以来的人生态度都是,直面挑战,不达目的岂能轻易罢休!
元界:所以你在这个点上死磕,誓要一针见血了。
贾金原:真正的原创性研究,都需要发扬愚公移山的精神,扎扎实实、老老实实地做出来。因为是窄路,所以不允许你偏左偏右,也不允许你后退。你想,后退与前进一样,都是窄路,所以既然踏进来了,与其后退,不如前进。也唯有全力以赴、高度聚焦、专注地往前推进,才有出路。唯有前进,唯有精诚所至,唯有坚持,也唯有坚持到底,才有突破。
就我的体会而言,窄路并非没路,只是路窄难行而已。窄门也并非没门,只是窄门难进而已。窄路起初走起来举步维艰,困难重重,但并不意味着是绝路而走不起来,事实证明窄路还是能走起来的,而且感觉越走越宽广。同样地,窄门也有门,是门总能挤进来,窄门越挤越能进来,越挤感觉窄门在逐步变宽。换句话说,窄路才是正路,窄门是命门,也是天门!
柳暗花明
打造国际领先的轻量级实时Web3D元宇宙引擎
元界:什么时候局面开始慢慢打开?目前取得了哪些重要进展,包括“走窄路”“进窄门”的首创之功?
贾金原:自2016年至2019年,我们的Web3D关键技术研究进度与力度开始加快,学术研究与项目开发融合越来越好。2020年后,我们的轻量级Web3D关键技术研究的推进加速,不断涌现各种研究成果,轻量级Web3D关键技术基本突破,轻量级细粒度化Web3D算-传-渲的技术路线,也基本走通。
首先,我们在服务器端对海量三维场景进行了预处理。第一步,我们先提出了基于相似单元构件查重的轻量化处理,降低了场景的整体数据量,减少了总体的网络带宽消耗与网页端计算能耗。但是,有些去重后的某些单元构件是复杂的曲面网格,无论传输还是渲染之还会再出现卡顿的现象。
第二步,我们引入渐进式网格(Progressive Meshes)的流式化,将复杂单元构件变得又长又细,使得其缓缓地穿透比较窄的网络带宽,即便在网页端算力不足的情况下也依然能渐进式在线渲染起来。
第三步,发现某些建筑物/设施/设备的文件粒度很粗,往往外体中包含着内体,就先对其外壳进行剥离,室外漫游时仅加载渲染外体,内体空间按照封闭性和可视性进行分块处理,将其分割成一个个细粒度化的加载与渲染子空间,这样就大大减少了网络拥塞与渲染算力消耗。
这三步统称为在服务器端的预处理,即轻量化→流式化→细粒度化,就是将重量级粗粒度的海量三维场景的图形文件,处理成轻量级细粒度化的文件格式,使之适合在移动互联网上的传输调度。
其次,针对三维场景网络传输慢且卡的“窄路”问题,根据当前的网络带宽和在线用户的视点与浏览兴趣,我们提出了网络带宽自适应与构件兴趣度驱动的渐进式传输调度机制,最大限度地缓解乃至消除了因带宽不足而引起的卡顿与阻滞。
针对多人同时访问服务器而造成的服务器出口带宽崩溃问题,我们设计了基于云边页三端协同的对等传输调度机制,巧妙地均衡、分摊了服务器一个出口带宽的负载为多个边缘出口的对等传输机制,极大地缓解了服务器的传输压力。
再者,针对网页端算力与缓存的双重受限而无法支撑渲染大规模与高品质的瓶颈问题,我们一方面提出了轻量级增量式实例化渲染,使得Web端渲染的三维场景规模不断地放大,目前已经到了上百GB;另一方面又提出基于轻量级云烘焙的Web3D全局光照在线高品质渲染的分布式渲染管线,使得Web端得以实现实时全局光照的高品质在线渲染。
最后,我们所提出的算→传→解→渲→缓五位一体化是从服务器端到网络传输,再到网页端呈现的整套系统的技术路线,基本突破了海量多人在线Web3D元宇宙的数据体量瓶颈、文件粒度瓶颈、网络传输瓶颈和网页渲染瓶颈,给出高效率、高精度、高品质、低成本、低延迟、低能耗、低频度的解决方案,成功地将三维大数据放到手机网页浏览器上。
通过在普通服务器部署系统,可以在现有网络环境上实现人人随时随地在线访问、漫游、交互、编辑和分享任意三维场景,这正是元宇宙所期待的三维互联网。
当然,我们的轻量级Web3D技术路线对于走窄路和进窄门的尝试只是初步取得成功,上述所有关键技术都会持续不断地研究下去,也会随着在线三维元宇宙场景规模的不断放大和场景复杂性的日益提高而不断地提升。
轻量级细粒度化Web3D关键技术
算传渲一体化的轻量级细粒度化Web3D在线可视化管线
元界:回头再看,你有什么足以自慰的地方?
贾金原:在科学尤其是原创性研究当中,走窄路、进窄门往往是使命呼唤,也是出于天意。现在看,我的顽强坚持是值得的。我心中始终有一种信念:Web3D的前景光明的,黑暗越大,将来的Web3D之光就越发炽烈耀眼;挫折越多,将来的成就感越大。
如今,我们早已实现大规模多人在线的Web3D会议元宇宙、展览元宇宙、教育元宇宙、办公元宇宙、园区元宇宙等场景,运行流畅、不卡顿。支持在线人数、模型加载效率、延迟时间等核心指标达到国际领先水平。
让Web3D元宇宙变得越来越轻、细、快、真、美、省、智是我们的宗旨。我们完全有能力打造一个国际领先的无与伦比的轻量级实时Web3D元宇宙引擎。
元界:所以你成为了这一领域的权威。
贾金原:支撑元宇宙的关键技术还未取得全部突破,谁也不能说自己是权威,我只是高校中为数不多研究Web3D并做出一些成果、有一些经验的学者。
助力与费解
AI无法替代或颠覆Web3D技术本身
元界:3D建模时间长,成本高,并在多年前你曾说AI可在3D建模领域有广泛的应用,当下你和团队研究情况如何?
贾金原:首先,3D重建是图形与视觉领域的经典问题,从传统智能到深度智能再到今天的大模型智能,AI在三维重建的研究中发挥着越来越大的作用。
其次,我们团队一直在用AI,也在高度关注AI的发展动态。事实上,我们十年前就开始应用传统AI技术——神经网络、遗传算法、强化学习、蚁群算法等,来做Web3D在线家居自动布局与在线火灾逃生路径规划的研究,这就是早期基于Web3D的轻量级在线PGC的探索。
后期随着深度智能时代的到来,我们也开始将深度学习应用于Web3D大数据在线细粒度化加载的智能调度上,还有人脸表情的智能夸张化的研究探索上,也取得了不错的效果。
目前AI大模型时代已来,我们马上就开始了利用ChatGPT进行在线交互式生成轻量级三维场景AIGC的创作尝试,并初步取得了成功。我们将ChatGPT与Web3D的融合,做了轻量级Web3D多人在线AIGC内容创作平台,并成功研发了WebGame/WebBIM/WebTwin等多个示范应用项目。
目前,我们初步实现了轻量级Web3D单人在线,输入文字即可AIGC生成小规模三维场景的目标,下一步准备实现海量多人在线透过语音生成大规模三维场景,为三维互联网的元宇宙提前进行预研。
元界:AI+3D的技术难点在哪里?对两者结合的进程,你有什么预判?
贾金原:AI会助力赋能Web3D关键技术的发展,我们已经将AI应用与Web3D的轻量化、细粒度化、渐进式传输、兴趣对等组网、页端全局光照在线渲染的智能上,都取得了不错的效果,但AI无法替代或颠覆Web3D技术本身。
据我所知,三维智能重建的精度一直是个痛点,因为受光照等影响,噪声很大,导致无法达到使用的精度和准确性要求。还有一个痛点是完整度,扫描不到的地方无法进行无中生有的重建,通常只能建外表,而内在的复杂场景无法精准重建,而且还缺少尺寸和语义信息,只能浏览、漫游一下,也无法达到三维设计的要求。
不过,大家一窝蜂研究的东西,我和团队一般都不做,也没有什么预判。
元界:你们也在用AI,但又说“一般都不做”,这是什么原因?
贾金原:AI取得了巨大的进步,这是不争的实事。呈现在用户面前永远都是Web3D在线可视化智慧应用,可视化的东西一定能吸引眼球,AI让在线可视化变得更加敏捷(smart),翻译成为中文就是智慧。智慧可视化服务一定包含智能技术的加持。
事实上我们一直都在用AI,从普通的传统AI,到深度AI,再到大智能。但我们并没有盲目跟风AI+的潮流。窄路思维和窄门意识就是躲开千军万马而却独辟蹊径。我和团队不会跟AI+的潮流,因为我们一直想要打造的是Web3D+,到如今也依然是不忘初心。
我们从来没有丢弃甚至偏离Web3D,用其它技术的目的就是为了把Web3D本身做得更好!Web3D随时随地吸纳各种先进技术,包括但不局限于AI、5G、边缘云、物联网、区块链等,来提升轻量级Web3D的关键技术及各种示范应用,但是AI并非是主导作用,主导作用一直还是Web3D,我们交叉使用各种技术包括AI来推动Web3D的发展。
我只是看到很多原本做图形、图像的人纷纷转向AI等热门方向,甚至丢弃了自己的本行,感到费解,也对过度鼓吹AI的成就和影响力非常反感。
2023年3月12日,叶毓睿老师曾邀请贾金原教授在“乐生活与爱IT”上做讲座分享,视频有回放。对Web3D感兴趣的朋友,可以移步观看。
推荐阅读