终于不用猛盯着看小鱼游泳了。。。

需要咨询科研服务？点击上方蓝字关注我们

原文作者：Roberta Kwok

不断涌现的深度学习算法正在驱动动物行为姿态分析软件的新一轮开源热潮。

做博士后研究时，生理学家Valentina Di Santo曾花费了大量时间来对高清鱼类视频进行仔细分析。

Di Santo当时研究的是鳐科等鱼类的运动过程。她会将鱼类放置于观测箱体中进行拍摄，而后逐帧手工标注鱼身体的各个部分，一段72秒的短视频就需要消耗约一个月的工作量来处理。她随后利用基于MATLAB开发的开源工具DLTdv来抽取动物身体各部位的坐标，作为研究的关键信息进行分析。研究表明小鳐鱼（Leucoraja erinacea）需要更快地游泳时，它会在鳍上形成弧形来增强边缘强度[1]。

插图：The Project Twins

但研究从个体转移到群体时，原来的手工方法显然行不通，需要新的研究工具来处理这一问题。Di Santo说："（如果手工处理庞大的数据）那样我将永远处在无尽的数据分析中了。"目前在斯德哥尔摩大学的她随后转向了使用DeepLabCut。

DeepLabCut是由哈佛大学的神经科学家Mackenzie Mathis及其同事开发的开源软件包，可以训练被称为神经网络的计算机模型来追踪视频中动物的姿态。虽然已经公开的版本还不能便捷地追踪视频中的多个动物，但其团队已经计划利用鱼类数据来对模型进行训练升级了，这些数据来源于Di Santo的标注。Di Santo说初步结果看起来很有希望，虽然她还在等待这一工具在完整数据集上的综合表现，但她表示没有DeepLabCut这项研究几乎无法完成。

Mathis说研究人员对于追踪动物运动的兴趣由来已久，这是因为运动是大脑意图的完美体现。但在传统研究过程中，需要耗费大量的时间来进行手工记录和标注。上一代的动物追踪工具主要给出目标的质心，以及一些方向信息辅助，但很少有工具可以实现更细粒度的动作行为捕捉分析，而这对于特定种类的动物或者个体来说至关重要。普林斯顿大学的神经生物学家Talmo Pereira表示。

在过去几年里，深度学习这种利用神经网络来组织和学习数据中精细结构模式的人工智能方法得到了巨大的发展，为这一领域提供了新的工具。类似于DeepLabCut、LEAP Estimates Animal Pose (LEAP) 和 DeepFly3D等开源工具利用深度学习来分析视频中动物身体各部位的坐标。同时还有补充工具来实现特定动物的识别。这些工具包帮助研究人员实现了从猎豹捕猎运动到斑马鱼行为收集等广泛的研究任务。

但每一个工具都会有它的局限。一些工具需要特定的实验设置、或者针对群体活动的动物效果不好。但这些方法会随着图像捕捉和机器学习领域的进步而不断完善，哈佛医学院的神经科学家Sandeep Robert Datta说:"目前的趋势的确只是神经科学研究方法长期转变的开始。"

位姿追踪

DeepLabCut是基于人体位姿分析的软件开发的。Mathis利用少量的训练数据对算法背后的神经网络进行了调整，使其可以应用到其他动物的位姿分析中。对于标准的实验室研究，50-200个手工标注的样本已足够对模型进行微调，但Mathis表示标注的数量取决于数据质量、标注连续性等因素。除了在GUI中标记数据外，用户可以通过JupyterNotebook来使用多种计算命令（Jupyter Notebook是数据科学领域最流行的可计算文件格式，包含了交互式的代码计算环境和文本环境）。科学家已经利用DeepLabCut研究了多种实验室和野外环境的动物，包括老鼠、蜘蛛、章鱼和猎豹等。加州大学伯克利分校的神经科学家Wujie Zhang及其同事利用这一工具在实验室中研究了埃及果蝠 (Rousettus aegyptiacus)的行为活动[2]。

Pereira及其同事研发的基于深度学习的位置追踪工具包LEAP针对实验室动物需要50-100帧标记图像。对于野外动物来说需要更多的训练数据，尽管他们还没有详细的实验给出具体数量。研究人员今年计划发布另一个名为Social LEAP（SLEAP）的工具包来处理包含多个互相遮挡动物的图像。

德国马普动物行为研究所的行为生物学家Jake Graving及其同事比较了重构后的DeepLabCut和LEAP算法在斑马(Equus grevyi)数据上的表现[3]。他们发现LEAP处理的速度快10%，但DeepLabCut算法的精确度却要高三倍。

Graving团队还研发了名为DeepPoseKit的替代工具，可以用于研究沙漠蝗虫(Schistocerca gregaria)的行为，包括（蝗虫间）复杂的碰撞行为。DeepPoseKit结合了DeepLabCut的精度，同时利用了批处理超过了LEAP的速度。Graving说，例如追踪一匹斑马一小时帧率60的视频需要DeepPoseKit处理3.6分钟，而LEAP需要6.4分钟，重构后的DeepLabCut需要7.1分钟。

Pereira说DeepPoseKit进行了很好的创新。虽然Mathis对性能比较的有效性有所争议，但Graving表示，“我们的结果是客观公正比较得到的。”Mathis团队同时在九月份arxiv预印本上也报道了加速版本的DeepLabCut可以在手机上运行[4]。

想要比较不同软件方案的生物学家可以尝试Kristin Branson及其同事研发的Animal Part Tracker，这一研究小组来自于霍华德·休斯医学研究院珍妮利亚研究所（Janelia Research Campus）。利用这一工具，用户可以任意选择多种算法来进行性能比较，除了DeepLabCut和LEAP外，还包括了Branson实验室的其他算法。DeepPoseKit和SLEAP也是可以选用的算法。

还有其他用于特定实验环境的算法被不断设计出来。例如用于追踪单个系留在实验室中动物3D位姿的DeepFly3D，观测对象包括被植入电极的小鼠或者在小球跑步机上行走的果蝇。瑞士洛桑理工的神经工程师Pavan Ramdya及其同事开发了DeepFly3D，来帮助识别果蝇在进行特定活动时激活的神经元。

此外还包括加州大学洛杉矶分校神经科学家Ahmet Arac及其同事开发的算法DeepBehavior，可以帮助用户追踪多种目标的三维运动轨迹，并计算出包括速度和关节角度等参数。Arac团队目前正利用这一工具包来帮助中风患者恢复，同时研究小鼠脑部网络活动和行为的关系。

感知运动

想要同时研究多个动物的科学家需要区分出并追踪每个个体。为了解决这一问题，来自里斯本Champalimaud Research的神经科学家Gonzalo de Polavieja及其同事开发了一个基于神经网络的工具idtracker.ai，可以在无需手工标注训练数据的情况下识别出动物个体。它可以处理视频中接近100条鱼或者80只果蝇的数量，其输出可以便捷地馈入到DeepLabCut或LEAP中进行处理。de Polavieja和同事利用idtracker.ai来对其他动物群体进行了检测，包括斑马鱼在群体中的运动决策等[5]。然而目前的工具仅仅针对实验室拍摄的视频，还要求视频中的动物们（至少短暂地）彼此分开。

其他软件包还能帮助生物学家理解运动。Mathis举例说，研究人员希望将位姿坐标转换为像整理毛发的行为。如果研究人员明确了感兴趣的行为，他们就可以利用珍妮利亚自动化动物行为标注器（Janelia Automatic Animal Behavior Annotator, JAABA）来实现样本标注，并从视频中识别出更多的实例，Branson的团队开发了这一监督学习的工具。

一种可行的手段是非监督学习，它无需事先定义行为。这种策略也许更适合于那些想要捕捉动物完整行为库的研究人员，佐治亚亚特兰大埃默里大学的理论生物物理学家Gordon Berman说。他与团队开发了名为MotionMapper的MATLAB工具来识别经常重复的移动。Datta团队则开发了Python工具包Motion Sequencing（MoSeq），用于寻找步行、转向和抚养等行为。

通过对于这些工具的融会贯通，研究人现在对于动物图像有了更深入的新理解。“完整的工具包赋予了研究人员做你所想的能力。”

参考文献：

1. Di Santo, V., Blevins, E. L. & Lauder, G. V. J. Exp. Biol. 220, 705–712 (2017).

2. Zhang, W. & Yartsev, M. M. Cell 178, 413–428 (2019).

3. Graving, J. M. et al. eLife https://doi.org/10.7554/eLife.47994 (2019).

4. Mathis, A., Yüksekgönül, M., Rogers, B., Bethge, M., & Mathis, M. W. Preprint at https://arxiv.org/abs/1909.11229 (2019).

5. Heras, F. J. H., Romero-Ferrero, F., Hinz, R. C. & de Polavieja, G. G. PLoS Comput. Biol. 15, e1007354 (2019).

原文以Deep learning powers a motion-tracking revolution为标题发表在2019年9月30日的Nature的Toolbox版块上

©Nature

doi: 10.1038/d41586-019-02942-5

点击“阅读原文”查看英文原文

更多阅读

版权声明：

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件[e-mail]。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。

© 2020 Springer Nature Limited. All Rights Reserved

喜欢就转发或点个“在看”吧⇣⇣