游戏机没想到，自己成了研究霸王龙和古冰川的利器
原文以The research hardware in your video-game system为标题
发布在2018年1月3日的《自然》Toolbox上
原文作者：Anna Nowogrodzki
运动传感器不止用于电子游戏，搭配上合适的软件，它们可以扫描恐龙头骨，监控冰川，赋予机器人视力。
一个胸前戴着一个黑色矩形装置的人正小心翼翼地绕着一个霸王龙头骨行走。这不是什么行为艺术。那个黑色矩形装置是名为Kinect的运动传感器，那个人正在芝加哥菲尔德博物馆用它捕捉恐龙头骨精确的3D形状。
插图：The Project Twins
这和Kinect发明者的初衷大相径庭。它最初是微软为其电子游戏产品设计的，能让Xbox用户通过肢体动作和手势来控制游戏中的人物，不再受游戏手柄的限制。但是自它上市起，就大受科学家和临床医生的欢迎。他们通过改造Kinect和其他传感器（Nintendo Wii Remote、PlayStation EyeToy和Leap Motion等），帮助开展机器人学、冰川学和医疗健康等领域的研究。他们很快就意识到这些设备可用于测量肢体活动，操控3D物体，观察或建立3D空间模型，搜集到的数据能用于各种各样的研究。
这类传感器对科学家来说有诸多优点：成本合理（大部分为80-100美元）、便携且与免费易学的软件兼容，因此被用于许多研究项目。
不过，不足之处也很明显。比方说，它们的规格（比如分辨率）通常比不上工业级硬件，而且系统更适合客厅环境而非野外。不仅如此，它们的效用很大程度上取决于所开展的研究类型。
为恐龙诊牙
法医口腔学家Denise Murmann从2016年开始将Kinect当作一种研究工具使用，这源于她和家人去菲尔德博物馆的一次参观经历。在观察世界上最完整的霸王龙骨架之一SUE的时候，她的侄子注意到一块展牌解释说该恐龙的头骨上分布着一些来源未知的小孔。它们是咬痕吗？还是感染留下的痕迹？Murmann想，用她在做法医鉴定时分析咬痕的方法来研究这个头骨一定会很有意思。
但是她常用的工具不行。SUE的头骨长约1.5米，重272千克——高精度牙医用3D扫描仪无法扫描这么大的东西。于是，Murmann向麻省理工学院媒体实验室的摄影文化组寻求帮助，成像研究人员Anshuman Das建议将Kinect连到笔记本电脑上用。Das说，Kinect的分辨率比工业级扫描仪要低十倍，但是能够处理庞然大物。
这就是为什么Das把Kinect绑在胸前，绕着霸王龙头骨缓慢行走。3D扫描结果显示头骨上的洞并非以同样的角度向内凹陷，因此不太可能由单次啃咬造成。同时，它们均朝内变窄，说明不是由感染引起的。去年7月，研究团队将这些研究发现（A. J. Das et al. PLoS ONE 12, e0179264; 2017）发表了出来。虽然这不是第一次对Sue的头骨进行扫描，但是之前的扫描耗时长达500个小时，使用的是通常用于检查航天器部件的计算机断层扫瞄仪，而用Kinect在博物馆内只需要几分钟就能完成扫描。
冰川、步态和机器人
游戏控制器的应用领域并不限于古生物学。丹麦及格陵兰地质调查局的冰川学家Ken Mankoff曾利用Kinect给冰川河床及其下面的融水通道建模，分辨率达1毫米。这样的数据能够帮助冰川学家更好地理解冰川融水如何影响海平面。Mankoff说科学家通常用激光雷达系统搜集数据，一套系统的成本可超过10,000美元。
现成的电子游戏运动传感器还可用作简易的机器人视觉系统。机器人学研究者Ashutosh Saxena（斯坦福大学）和Chenxia Wu（康奈尔大学）就用Kinect设计了一个可以通过观察人类行为来学习任务的机器人——WatchBot，它由一台计算机、一个激光指示器和一个安装在三脚架上的Kinect组成，Kinect在这里充当眼睛。WatchBot能够学习完成一项任务（比如从烤箱中把食物取出来）所需的步骤。在60%的情况下它能够鉴定遗漏的步骤——这样的准确率足够让其在未来应用于制造与安全监测领域。
还有其他的电子游戏传感器也对科学研究有用。Leap Motion开发的控制器能够跟踪手部和手指的细微动作，虚拟现实头戴设备（如谷歌的Daydream——约80美元和Oculus VR的Rift——400–500美元）则能增加沉浸感。荷兰代尔夫特理工大学的水文学家Willem Luxemburg用Wii Remote测量水库蒸发速率，精度超过一毫米。Wii已经停产，但是旧版系统仍旧可以从网上获取，Kinect也是一样。微软在去年10月停止生产Kinect。微软不断推出新产品，比如目前限量生产的增强现实眼镜HoloLens采用了和Kinect一样的核心传感器。
电子游戏传感器也被越来越多地用于医疗。密苏里大学的工程师Marjorie Skubic从2010年Kinect刚刚发行时，便开始用它监测老年人的步态并预测他们摔倒的风险。她回忆道：“那时刚好快到圣诞节了，我们买下了镇上所有的Kinect。有些孩子可能因此没有得到心仪的圣诞礼物。” Kinect极大地改进了他们之前所用的监测系统——一个摄像头和一台笨重的台式电脑。计算机不仅占空间，而且发热严重，需要用电风扇散热，发出的噪音非常干扰工作。有了Kinect后，这些问题迎刃而解，只需要一台小电脑就能够准确捕捉老人的步态。
前景光明
要捕捉物体的三维形态，Kinect就像一个普通数码相机一样拍摄一张数码照片，但它另外会用红外光测量深度，然后将这两组数据合并起来创建一张“深度图片”，图像中的每个像素根据其相对传感器的距离排列。系统可以根据它来创建一个3D模型或重建一个骨架模型。
要使用这些数据，不需要太多专业知识或设备。Das说只需要一个适配器将Kinect和笔记本电脑连接起来，以及一个高质量的图形处理器来处理Kinect捕捉的实时3D结构。“一些游戏本是最适合的。”
如果想做些改造，可以找黑客帮忙。微软自己也发行了一套软件开发包，你可以用它定制应用程序来使用Kinect数据，你还能从微软的应用商店下载3D Scan——一个用来扫描物体的软件包。而在Skubic团队刚开始用Kinect时它们都还没出现，所以他们当初用的是来自OpenKinect项目的一个开放资源程序库，名叫libfreenect。
温州肯恩大学的研究人员Tiffany Tang开发了一个基于Kinect的系统来帮助人们理解自闭症儿童的情绪。她觉得他们团队所用的微软Kinect软件开发包和Visual Studio很容易上手。她说：“我的学生用一个星期就自学学会了。”
容易上手是一大优势，因为游戏产业发展迅速，研究人员可能也需要相应地不断更新自己所用的平台。在英国阿尔斯特大学，康复研究者Suzanne McDonough和计算机科学家Darryl Charles将电子游戏传感器和定制软件结合起来，用于监控病人在家里的理疗锻炼情况，并根据他们的康复状况安排新的训练。在过去的几年里，McDonough和Charles使用的工具也在不断进步，从EyeToy和Wii到VR游戏专用摄像头，再到用两代Kinect来跟踪手臂和手部运动，最后用Oculus和谷歌的VR头戴设备来提供更加逼真的体验。他们也用到了Leap Motion传感器。Charles说：“它很善于识别手势和手部的自然运动。”
然而，这些工具也有很多局限。Mankoff说Kinect的一个缺点是距离：因为它是为家用需求设计的，所以只能测量距离传感器几米以内的物体。新的算法，比如Kinituous和ElasticFusion，允许研究人员把数据“拼”在一起，从而克服距离上的限制，但是其他困难仍没有得到解决，相关问题在田间工作时尤其突出。“任何潮湿的东西都不行。直接日照也不行。”Mankoff说。“幸运的是，我的研究在洞穴里开展，否则我就得在夜间或阴天工作。”其他局限还包括电池寿命和难以跟踪姿态奇特或衣着宽松的人。
尽管如此，科学家仍然在不断挖掘这些传感器的创意用法。自从Das发表了关于霸王龙的研究结果后，他收到了许多来自博物馆和古生物学团体的请求，他们希望能够使用或改造Das的扫描仪来分析其它化石、艺术品和人工制品。由于这个工具十分简单，所以他还曾在他担任志愿者的一所新罕布什尔小学里，用它来进行一项面部扫描测试。Das说：“它肯定比不上一个工业级扫描仪，但是它成本低且便于分享数据，因而有利于促成合作。”ⓝ
Nature|doi:10.1038/d41586-017-08968-x
你有为了研究用过或改装过其他领域设备的经历吗？在评论中告诉我们吧！
点击“阅读原文”阅读英文原文
热门文章
点击图片阅读：模仿约会软件的论文阅读APP，让你为了科学向右滑
点击图片阅读：野合就爆炸？为了让实验室物种不在野外扩散，科学家也是拼了
点击图片阅读：王者荣耀限令之外，是全世界家长对于电子设备的焦虑
版权声明：
本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件Chinapress@nature.com。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。
© 2017 Macmillan Publishers Limited, part of Springer Nature. All Rights Reserved