有了神经网络，带汤姆实时追踪杰瑞
By 超神经
场景描述：利用大量动物视频数据，对神经网络进行训练，在复杂、动态环境下的动物行为观察中，实现更好的动物与背景分割效果，从而更好地进行动物追踪。
关键词：动物行为学，卷积网络，神经网络，语义分割
鸟为什么有时候会啄蛋？松鼠摆尾是想表达什么？喵星人弓起腰来是害怕还是愤怒？动物的种种行为背后，是否都蕴藏着这一族群的秘密？
喵星人的小心思你能猜对吗？
最早，有些部落和地区会把动物看做神明，人们希望从动物身上获得上天的预示，获得恩赐。
直到 20 世纪，才开始了对动物行为的科学研究，达尔文就是最早研究动物行为的科学家之一 。
但早期对行为学的研究只能依靠肉眼观察和简单的记录仪。
后来，应用视频观察、无线电遥测等先进技术，在田野和模拟自然条件的实验室中，动物行为可以监控和定量化，将大量数据应用电子计算机处理，使行为学从属于数量准则。
近年来，AI 技术也被重用于动物「行为语言」的捕捉与追踪中。
近日，美国杰克逊实验室的科研人员就运用现代卷积神经网络架构，在开放领域开发了一种可扩展的小鼠跟踪方法，成功实现在复杂和动态的环境中追踪动物运动及行为，其准确度可达到人工水平。
据介绍，他们训练的神经网络能够使用简单的示例学习方法，对不同环境下、不同毛色、体形和行为的小鼠进行长时间跟踪，过程中也不需要人工持续监督。
人与自然：通过动物行为学彼此了解
宇宙浩渺，地球的存在孤独而珍贵。在这颗星球上，除了人类有着完善的语言体系，其他动物都不曾拥有语言能力，这样让人类和其他族群有着本质的区别与隔阂。
世界各地的人将不同的动物视为「神的使者」
认为它们会为自己带来恩赐
不过，某种意义上来说，动物行为就是它们的「语言」。它们种种行为都具有一定的生理基础。通过观察这些行为，人类便能了解动物的生理状况、情绪表达、学习行为等，这对心理学、教育学等学科都会产生一定的影响。
此外，对于养殖业来说，观察动物在各种环境条件下的行为反应，了解动物的活动模式，有助于提高动物的管理水平和生产能力。
对于研究苍蝇和老鼠行为学，旨在消灭目标动物的实验室来说，如果能够通过这些研究，彻底消灭传播疫情、细菌的害虫，对社会的益处就更大了。
观察动物视频是各个动物实验室进行研究的主要手段之一，但是大量的视频如果都靠人工去标记，未免太耗时耗力。
对于跟踪动物行为所产生的大量视频数据， AI 技术能够代替人工追踪与标记工作，甚至能够比人工更加精准地进行追踪。
2018 年美国哈佛大学的一个团队开发的开源工具
「DeepLabCut」可精准、快速追踪小动物行为
美国的杰克逊实验室团队，就通过分析大量动物视频数据，训练神经网络自动对动物视频进行分析、跟踪甚至预测。
消灭害虫：基于神经网络的老鼠跟踪器
杰克逊实验室通过基于神经网络的跟踪器，实现对老鼠的自动追踪，不需要人工标记每一帧视频，也不需要在研究对象上放置标记物。
他们针对不同的小鼠和不同的环境条件，比较了三种不同的神经网络结构在视觉上的效果。第一种体系结构是编码器 - 解码器分割网络，第二种网络架构是分箱分类网络，第三种架构是回归网络。
训练期间，经过测试的网络架构的性能
实验结果表明，编码器 - 解码器分割神经网络在训练数据最少的情况下，具有较高的分割精度和速度。此外，他们还为行为和神经科学社区提供了标记接口、标记训练数据、调优超参数和预训练网络。
在研究中，为了在视频中捕捉到的小鼠执行的丰富的移动动作，通常会将小鼠抽象为一个简单的点、质心或椭圆进行分析。为了更好地利用现有方法对小鼠进行跟踪，进行适当的分割，团队对实验环境进行了简化，得到了最佳的小鼠与背景的对比度。
神经网络将视频中属于小鼠的像素从背景中进行分类，使这些高级抽象行为能够转化为数据进行数学计算。
为了更好地区分动物，研究者通常会根据动物的皮毛颜色而改变场地的背景颜色，然而这很可能影响其行为。
而使用神经网络的跟踪器，就不需要这样做。它能够在复杂和动态的环境条件下无视涂层颜色，实现跟踪。
如此一来，我们不禁为杰瑞捏一把汗，如果这个技术被汤姆掌握，它还能快活地到处蹦跶吗？
准确的跟踪：离不开大量的训练
为了测试神经网络架构，他们在多个小鼠品系和实验装置上，建立了 16,234 个训练图像，和 568 个保持验证图像的训练数据集。他们还创建了一个基于 OpenCV 的标签界面，用于创建训练数据（方法），能够快速注释前景和背景。
他们的网络是在 Tensorflow v1.0 中构建、培训和测试的。提供的培训基准测试在 Nvidia P100 GPU 架构上进行。通过几次训练迭代调整了超参数。
最终的结果是，在上文提到的三种不同架构下，编码器 - 解码器分段网络架构能够高速（超过 6 倍实时）实现最高级别的精度和功能。
此外，他们还提供了一个注释界面，允许用户通过注释少至 2500 个图像来为其特定环境训练新网络，时间只需要大约 3 小时。
神经网络跟踪完胜传统方法
该团队所训练的神经网络跟踪方法，与传统跟踪方法相比，主要在以下两个方面「获胜」：
不依赖前景与背景视觉对比
传统跟踪方法是通过操纵环境条件来增加动物和背景之间的对比度，从而实现正确的前景/背景检测(分割)。但是这没有解决动物分割的基本问题，且依赖于前景和背景之间的视觉对比以进行精确跟踪。因此，研究者必须限制环境以获得最佳结果。
也就是说，这种视频追踪技术不能用在复杂和动态的环境，或者不能有基因异质性动物，这使得长期和大型实验都是不可行的。
为了克服以上问题，该团队使用卷积网络、神经网络，改善了分割质量。此外，还利用语义分割技术，为传统的背景减法无法解决的动态环境提供了泛化能力。
实验中包括具有不同遗传背景的小鼠的视频，不同遗传背景导致表达不同的毛色，包括黑色，刺豚鼠，白化病，灰色，褐色，裸色和花斑
2
对小鼠处于特殊位置时的跟踪
随着环境变得不太适合跟踪，单个视频中不良跟踪实例的频率也会增加。例如，当小鼠在角落，墙壁附近或食物杯上时，跟踪非常不准确。
大多数情况下，不正确的跟踪还是由于老鼠从背景中分割不良造成的。这包括两种类型的错误：背景的部分被分割到前景（例如阴影）；从前景移除部分老鼠时误将老鼠归类为背景 （例如，与背景颜色匹配的白化鼠）。
为解决该问题，他们在实验中使用红外光源在明暗不同条件下记录小鼠行踪，利用红外光束网格检测小鼠当前位置，并采集24小时视频，包括小鼠位于食物杯上或者角落的时间，最后对视频数据优化进行分析。
经过训练的神经网络与人类标注相比，团队得出的结果是前者性能优于Ctrax（一个开源，免费提供机器视觉程序）。
使用单个神经网络实现高度可扩展的跟踪，在应变测量中，还可跟踪小鼠的视觉变化
当这一技术被更广泛地应用之后，不仅为研究员节省了大量时间，也许还会带来更多新发现，比如：用它来追踪复杂环境中的小动物，看到一个更加生动且神奇的动物世界。
在未来，我们还可以通过机器学习找到传播疫情的源头、读懂家中宠物的需求、追踪珍稀动物的动态，Make the world a better place！
超神经百科
多模态学习 Multimodal learning
模态是指人接受信息的特定方式。由于多媒体数据往往是多种信息的传递媒介（例如一段视频中往往会同时使得文字信息、视觉信息和听觉信息得到传播），多模态学习已逐渐发展为多媒体内容分析与理解的主要手段.
多模态学习主要包括以下几个研究方向：
多模态表示学习：主要研究如何将多个模态数据所蕴含的语义信息数值化为实值向量。
模态间映射：主要研究如何将某一特定模态数据中的信息映射至另一模态。
对齐：主要研究如何识别不同模态之间的部件、元素的对应关系。
融合：主要研究如何整合不同模态间的模型与特征。
协同学习：主要研究如何将信息富集的模态上学习的知识迁移到信息匮乏的模态，使各个模态的学习互相辅助。典型的方法包括多模态的零样本学习、领域自适应等。
历史文章（点击图片阅读）
从提出到看见黑洞，背后是近十代人的努力
当人工智能遇见农业，
农民伯伯不再「粒粒皆辛苦」
为了这篇文章，
他们派 AI 机器人观摩了 3 天黄色网站
AI 百科
教程
数据集
商店
更多
http://hyper.ai