—— 青亭网
其他
效果喜人，基于单目深度相机的实时体态追踪方案诞生
hi188｜ 撰文
随着AR技术的出现，部分高端智能手机逐渐也加入了深度追踪摄像头，以Google Project Tango项目为例，联想和华硕都推出相关机型，虽然这些机型销量并不友好，而且应用数量也非常少。但是，这一现状有望被改善。
据了解，由清华大学研究员于涛（音译，Tao Yu）领导，同时由北京航空航天大学、谷歌、USC、马克斯普朗克研究所的其它人员共同参与的一项计算机视觉技术即将推出，其有望通过单个深度相机的数据来实现完美的体态追踪。
现有的动作捕捉或体态追踪往往应用在电影或游戏中，其往往需要身穿紧身衣，而且还需要再特定的工作室，要求颇高。
而这项技术则对被捕捉者的穿着和场景并没有严苛要求，他可以穿着普通的衣服，或者背着包等。
据了解，这项技术将在下周盐湖CVPR上展示，其将深度数据与动作捕捉以及人体形态等进行结合。其初步的结果是一个X射线的视图，按照此时图可以进一步优化人体形态，然后按照人类骨骼的结构特性，通过多个锚点判断人体的动作。
目前，该技术已公开相关技术论文，本论文基于DynamicFusion和BodyFusion两个之前就存在的技术。虽然DynamicFusion可通过单个深度相机的数据来大致估算身体姿态，但在快速移动和有遮挡的情况下效果较差；BodyFusion则使用虚拟骨架来估算身体姿态，其在快速运动时同样容易丢失追踪点，效果并不理想。
而这些研究人员通过将两种方法融合为“DoubleFusion”，从深度数据中创建一个多个支点的虚拟骨架，然后通过收缩核心点距离虚拟虚拟象形的皮肤距离来减少周围的噪点。
如上图所述，摄像机的深度数据与人像混合在一起，并生成一个虚拟骨架来跟踪人体的关节和肢体末端的动作。最右侧的b结果是DynamicFusion的输出结果，c是BodyFusion的输出结果，d则是DoubleFusion融合两种方法后的输出结果。
可以看出，DoubleFusion的效果比以上两种方法中的任何一个都要好。
即便你穿着连帽衫、裙子，或戴着耳机、衣服很宽松也基本没问题。
不过，这套方法有一个缺点是当穿着较多的衣服时，其往往会错误的估计其体型，例如穿着宽松或厚一些的毛衣、羽绒服时，往往会直接错误将其体型预估为偏胖。
这种情况下，如果人与一个单独的对象进行交互时，例如桌子、游戏手柄或其它配件时，识别效果就较差了，有可能会将桌子误认为是人体的一部分，这部分也是今后工作主要解决的重点。
作者在论文结论中讲到，我们相信该方法在稳定性和准确性上可以满足多数的应用使用需求，特别是VR/AR、游戏、娱乐项目、虚拟试衣等场景。
虽然我们并不能确定，基于这项技术是否会诞生很多有趣的应用和功能，但可以肯定的是，今后的动捕/体态追踪技术肯定会朝着简单、小型化的方向去发展。
（END）
推荐阅读
—— 青亭网
文章已于修改