3天就可以打造超写实数字人的「黑科技」！？两项参与成果被SIGGRAPH 2022接收！幕后团队原来是他们！

wuhu专题

在刚刚放榜的计算机图形学领域旗舰会议ACM SIGGRAPH 2022中，由上海科技大学孵化的数字人底层技术公司影眸科技共有两项参与的工作被接收，探索了穹顶光场Plenoptic Stage技术在手部重建肌肉模拟中的运用与神经网络渲染Neural Rendering技术在动态毛发渲染中的应用。

两项成果将作为Technical Papers于今年8月在ACM SIGGRAPH会议中展出，为元宇宙超写实数字人技术的发展添砖加瓦。

使用了穹顶光场技术的NIMBLE项目

将在ACM SIGGRAPH 2022中展示

👇️👇️👇️

随着数字技术的迅速发展，写实风格的数字人在各行各业展现出广阔的市场和前景，数字孪生和数字人技术叩响了元宇宙大门，也因其高昂的财力人力成本让无数人望而却步。

影眸科技致力于数字人底层核心技术的研发，经历数年的科研攻关和迭代，正式推出一套以毛孔级穹顶光场扫描技术为核心、涵盖表情拆分绑定、动态贴图、皮肤微结构等全自研的全栈全自动数字人流程，让您在3天之内打造拥有上述内容的超写实数字人原型！

影眸科技正式推出3天打造超写实数字人服务包

穹顶光场毛孔级面部扫描系统

影眸科技自研的穹顶光场系统是亚洲唯一支持动态4D面部PBR（Physically-Based Rendering）材质扫描系统，该系统结合了人工智能、计算摄影学、图形学等技术，通过光场技术进行扫描，输出毛孔级的逐帧面部几何与PBR材质。

影眸科技自研的穹顶光场系统是亚洲唯一动态面部PBR材质扫描系统

目前，市面上的扫描系统主要为多视角相机阵列方案，即在固定光照条件下拍摄多角度的照片，应用摄影制图法（Photogrammetry）完成被动式的重建。摄影制图法的底层原理是利用图片间的特征点进行配准，采用MVS、SFM等方法进行重建，这套解决方案较为成熟，但受限于多视图下稀疏特征配准的精度，难以到达毛孔级的几何精度，同时由于光照信息的缺失，该方案也无法原生地得到材质信息，往往需要艺术家后期大量的加工。

传统相机阵列扫描VS穹顶光场扫描

影眸科技穹顶光场技术，通过采集面部在不同角度、不同梯度、偏振态分布的光源下所呈现出来的状态，逐像素解算出面部毛孔级PBR材质与拓扑一致的几何，能够直接应用到游戏、影视制作流程中。目前，在数据集基础与算法积累的加持下，影眸科技已经能够批量完成该级别资产全自动的生成，同时大大降低时间成本，极大提高了生产效率。

影眸科技自研的全栈工具链能够自动处理扫描素材，批量化生产影视级数字人资产

FACS表情拆分与绑定算法

在超写实数字人制作过程中，面部绑定往往是一个非常困难的问题。即使有扫描表情模型作为参考，也需要数周甚至数月的人工时间完成表情的拆分与绑定，这导致了动态数字人的生产十分困难。

影眸科技自主研发的表情拆分与绑定算法，以穹顶光场扫描获得的FACS（Facial Action Coding System）表情为基础，使用机器学习方法对面部进行符合肌肉动力学的表情拆分，只需要数十秒即可自动完成高逼真度面部资产的绑定。

影眸科技自研ML Rigging技术根据扫描的FACS表情自动完成肌肉运动拆分与绑定

不仅是依照穹顶光场扫描的表情模型完成自动拆分，在大量4D扫描数据与表情数据集的加持下，影眸科技已经能够在仅提供一个任意拓扑的静息（Neutral）表情的情况下，完成对不同风格资产的自动化表情拆分与绑定。通过这项技术，用户只需要上传一个模型，便可以完成符合肌肉动力学的面部绑定，达到逼真的驱动效果。

SMG数字形象申䒕雅写实皮肤由影眸科技提供ML Rigging技术

实时动态贴图生成

人在做表情时，由于面部皮肤表面的挤压拉伸与皮肤下层血流的涌动，会产生皱纹与颜色的动态变化。超写实数字人制作流程往往需要人工绘制/雕刻Wrinkle Map与对应的Mask来实现这样的效果。

传统动态贴图节点复杂，需要人工绘制Mask与WrinkleMap；影眸科技动态贴图技术能够实时分析、自动生成动态贴图素材

影眸科技将穹顶光场扫描的数以万计的人脸FACS表情PBR材质进行建库，使用深度学习方法完成了对皮肤表面PBR材质皱纹、血流效果的解耦与建模，在低性能开销下实现对低面模型的动态纹理模拟，进一步提升数字人的真实度，这一技术甚至可以运用在实时的渲染管线中。

动态PBR贴图技术使低面模型也能实时展示复杂的血流和皱纹效果

在算法的加持下，用户不仅可以应用扫描得到的PBR材质在几分钟内生成动态贴图素材，还能使用数据库资产自定义动态贴图效果，甚至为重新绘制的新贴图添加动态贴图效果，使这项技术可以自由应用在用户自定义角色中，进一步拓宽了其应用场景。

结合上述技术，影眸科技可以在3天内完成包含PBR材质、面部绑定、动态贴图、身体、皮肤微结构在内的基础数字人资产，在两周内即可完成数字人资产的整体制作，并在Unity/Unreal等游戏引擎中实现超写实实时渲染。

影眸科技3天打造超写实实时数字人案例

元宇宙的“基建”

影眸科技致力于数字人底层核心技术的研发，积极推动尖端实验室科研成果的民用化、商业化，探索前沿人工智能、计算机视觉技术在大众娱乐市场的推广应用。自2021年底正式开始对外业务后，影眸科技已与数家元宇宙概念公司展开合作，为数十家影视、游戏、营销公司提供不同等级的面部资产。

更多前沿技术期待与您共同测试…

面部捕捉又有新突破！

影眸科技发布毛孔级4D扫描技术测试demo

👇️👇️👇️

在元宇宙的未来，用户的线上社交体验将被重新塑造。随着AR/VR设备的普及，二维的照片或虚拟形象将不再能满足用户需求，基本成像方式的改变对三维形象的输出与塑造提出了更大的挑战。在此场景下，用户可以简单生成的、独属而又能适应不同场景风格的三维虚拟形象将成为每一位用户的基本需求和元宇宙数字身份系统的核心基础设施，在影眸AI能力的加持下，这一基本需求将得到完美的实现。

影眸科技将打造元宇宙身份系统，为用户提供专属个人的风格化虚拟形象

欢迎联系[e-mail]与影眸科技交流技术与业务，也希望更多志同道合的小伙伴加入。

—END—

想了解更多动画资讯与有趣内容？添加wuhu小精灵5号微信(wuhudonghua5) 发送“动画新势力”即可在不久后被邀请进群。

你一定还感兴趣：

想了解更多后续的介绍要锁定wuhu哦，微博的小伙伴可以关注我们的新浪微博：wuhu动画人空间，对了！如果你想看更多动画作品，去b站搜索wuhu动画人空间看看？

新加入的小伙伴们请注意！往期精彩内容在平台里的wuhu主页上，可别错过哦！欢迎小伙伴们的投稿！
如果你喜欢，请分享给更多人看到：）欢迎留言和wuhu三侠互动！