静园5号院前沿讲座 | 奥斯卡技术奖得主Demetri Terzopoulos解构人体运动模拟

关键词：物理仿真 深度学习

编者按

2019年7月13日，加州大学洛杉矶分校校长讲席教授、英国皇家科学院院士Demetri Terzopoulos来访北京大学前沿计算研究中心，并在静园五院作了题为“Human Simulation and the Deep Learning of Neuromuscular and Sensorimotor Control”的学术报告。报告由中心执行主任陈宝权教授主持，听众包括北京大学信息科学技术学院的师生，以及清华大学、国防科技大学、北京电影学院等单位的科研人员及学生。

Terzopoulos教授报告现场

在计算机图形学领域，传统的人类模拟存在较大的不足，角色既不自主、也无智能，往往必须通过运动捕捉的方式才能使其具有生命力。因此，我们有必要更深入地了解人的生物学结构，进行更底层的模拟仿真。

尽管生物运动背后的原理极其复杂，Terzopoulos教授依然选择了这个充满艰辛与挑战的研究方向，并且一做就是二十多年。这项研究是从简化的生物力学模型开始的，它把人视为若干刚体经转矩、弹簧等的组合，这些相当于关节的结构也即所谓姿态控制器（pose controller），通过它们能够实现站、坐等简单的姿势，在它们之间插值，我们就可以得到连续的人物动作影像。为了实现更多的姿态（如向后倒、翻滚、攀爬、维持平衡等），我们就需要增加更多的控制器。

相关研究的另一个重点为人物面部的建模。从20世纪八十年代到21世纪初，人们对于面部的仿真取得了翻天覆地的进展，算力的增加使得科研工作者可以从解剖学的角度更深入地理解人类的面部，从而可以用肌肉牵引的方式真实地反映人的表情变化。此外，软组织的模拟也为更底层的人的模拟创造了条件。在这一部分，Terzopoulos教授展示的实时面部生物力学模拟、外科手术缝合模拟，都让在座的听众为之惊叹。

有了先期的准备，更加科学、更加精密的人体模拟模型也就呼之欲出了。在这个模型中，有几乎所有的关节骨骼和骨骼肌肉（包括75块骨骼、165个自由度、846块肌肉），这些组织都通过基于体积的有限元方法进行模拟，确保了高精确度与稳定性。模型的骨骼部分得益于人体骨骼建模与它的前向动力学；肌肉部分得益于Hill的肌肉模型（Hill因此获得了诺贝尔生理学或医学奖）。有了这个骨骼肌肉模型，我们还可以增加诸如逆向力学控制、硬度控制等模块，甚至在与流体模拟结合后，能够实现可控的人的游泳的模拟，这里利用了中枢模式发生器（central pattern generator，CPG）来生成不同的泳姿。

自此，报告进入到第二部分，即模拟的人物如何自主地对外界进行反应。在现实世界中，这一过程是由生物的神经系统控制的，因此也不妨考虑使用基于学习的肌肉神经控制系统来完成这一任务。Terzopoulos教授从对于颈、头子系统的研究入手，为大家深入浅出地讲述了他在这一方面取得的成果。

具体而言，对于一个具有7个颈椎骨，通过三个自由度与颅骨连接的子系统，我们用被动关联弹簧来模拟韧带。在采集数据并训练好神经网络后，不仅能够很好地模拟颈—头—面—眼的关联行为，还能够实现多个头颈子系统的交互。

除了肌肉神经控制以外，Terzopoulos教授还对仿生感觉运动控制进行了研究。对于感知子系统，首先建立了精细的眼睛模型，这一模型可以对眼球、瞳孔、视网膜的动作进行仿真。其中的控制系统是利用10层深的深度神经网络进行训练的。此外的肢体、躯干的控制，原理是类似的。

陈宝权教授向Terzopoulos教授赠送纪念品

报告结束后，在座听众踊跃提问，Terzopoulos教授一一详细解答。随后，Terzopoulos教授和陈宝权教授实验室的学生进行了交流，听取了同学们在物理模拟与机器人视觉等方面的最新成果讲解并观看了演示，表示希望未来能够在共同兴趣点上进行合作。

2019年｜夏

文字 | 倪星宇

Visual Computing and Learning

往 期 报 告

—   版权声明  —

本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。

点“阅读原文”看报告概要等信息