其他
DeepHand:追踪手部运动的“深度学习”系统
戳蓝色字关注IntelligentThings
(图片来源于:普渡大学)
引言
关于各个厂家关于VR装备的竞赛,正如夏天的天气,在火热的展开。而手部也许会是竞赛的重点,红外相机,电磁传感器 ,手持控制器,这些都都在各种VR设备上使用,例如: HTC Vive,
PlayStation Move ,Oculus Touch等等。现在,普渡大学的团队正在使用深度感应摄像头捕捉手部运动,同时使用深度学习网络,理解数以百万计的手的位置的可能性,在虚拟世界将他们精准的显示。
研究人员称这个系统为:DeepHand,基本功能和Leap Motion一样,但是它使用了深度学习“卷积神经网络”。摄像头读取手部各个点的位置和角度信息,通过一个特殊的算法运行他们,然后快速的扫描超过250万个姿势的数据库,选择最匹配的,然后再VR里面现象化的呈现出来。
“我们识别手部的关键的角度,然后观察这些角度的变化,一些由一组数据代表的这些配置,”这项研究的作者,博士研究生 Ayan Sinha 说。
为了确保虚拟手部运动能够尽快的显示,程序预先指出,对于手部进行什么样的配置,最有可能演变为数据库中的“空间邻近域 ”。这个算法也能指出和现实手部不同部分的位置,摄像头无法直接看到,基于相邻区域的方向。
作为一个深度学习的网络来说,研究人员首先必须训练DeepHand,识别姿势,并且反应给数据库。这些做需要很强大的处理,所以需要在一个标准的电脑上使用这个系统。
如果大家有什么关于物联网,智能硬件,创新方向的技术或者产品问题想了,请写评论告诉IntelligentThings,我会定期参看大家的问题,并选择一些来回答。