Curr Biol ︱果蝇求偶“圆舞”行为：孙一团队建立社交场景下的多维物体识别与感觉运动整合模型

撰文︱宁静，孙一

责编︱王思珍

个体如何感知识别同类并驱动社会交互是社会行为的基本过程之一。同类个体作为社交场景下最具特殊性的物体，是复杂物体识别研究的重要对象。同时，社会行为的交互性导致运动的发生会直接影响对象，而对象的行为反应又将反作用于自身，如此往复，形成反馈。

当前复杂物体识别的研究多在高等动物上开展[1]。果蝇以简洁的神经系统实现复杂的社交行为，并具备丰富的分子工具便于探索神经环路机制，以果蝇的社交行为作为范式，解析感觉运动关系，并深入研究神经网络机制，有望率先揭示物体识别的一般性原理。果蝇等小动物也具有丰富的社会行为[2,3]，相关个体感知研究往往侧重嗅觉和味觉 [4-7]；最近一些视觉的探索中常将个体简化为低维物体[8-10]，虽然这一简化带来便利，但回避了作为社会行为核心的复杂性。个体在多个维度上以特定结构呈现出丰富的特征，如何在社交场景下建立多维视觉特征和运动的一般性关系是研究多维物体识别的重要挑战。

2022年2月8日，西湖大学的孙一实验室在Current Biology 发表了题为“Behavioral signatures of structured feature detection during courtship in Drosophila”的文章，在果蝇的求偶过程中发现了基于复杂视觉信息的感觉运动转换过程，为社交场景下的多维物体识别与感觉运动整合研究提供了新的模型。

感知识别环境中的相关信息并作出行为反应是脑的基本功能，这一感觉运动转换过程在二元社交互动中具有独特的对称性，即此个体的行为活动同时也是彼个体的感觉信息，反之亦然。这一“感觉运动二相性”是社交行为在感觉运动层面的关键特征之一，这也意味着，如果能够定量测量两个交互个体的行为，那么作为输入的感觉信息和作为输出的行为活动都将同时被精确刻画，进一步应用系统辨识，将为建立多维特征和行为的关系提供可能。

社交场景下的自由行为具有强烈的不确定性，要找到隐藏在不确定背后的规律，需要测量分析海量数据量。作者对数万对果蝇在三年多时间中采集了数十亿帧图像并深入分析，发现参照系坐标变换后果蝇求偶过程稳定表现出一种独特的行为：“圆舞（circling）”（图1）。

图1 参照系坐标变换发现果蝇求偶过程中的“圆舞（circling）”行为

（图源：Ning J et al., Curr Biol, 2022）

通过阻断不同感觉输入，发现这一“二蝇转”在受益于多模式整合的同时高度依赖于视觉信息。“圆舞”表现为雄蝇围绕雌蝇旋转，同时振动翅膀（图1）。在“圆舞”时，雄蝇始终朝向雌蝇，从而在不同的位置接收到动态变化的视觉刺激，因此，该行为天然适合多维物体识别研究。

以“圆舞”为模型，作者通过研究感觉运动关系展开了个体识别过程的深入研究。首先，雄蝇多个动作参数的概率分布密度依赖于其观察雌蝇的视角（图2）。视角依赖的物体识别初步提示果蝇具备多维特征检测的能力。

图2 视角依赖的雄性动作参数分布提示视角依赖的物体识别过程

（图源：Ning J et al., Curr Biol, 2022）

不同视角面对雌蝇不同部分，因而雄蝇动作参数可能进一步受雌蝇特定部位空间位置的影响。通过类似心理物理中的强制选择任务（two alternative forced choice，2AFC），将果蝇刺激反应二值化并进行ROC检测分析（图3），发现雌蝇头部和尾部位置信息对于雄蝇的抉择起关键作用。这就需要神经系统对个体各部位特征具有检测和分辨能力。从而进一步为多维特征检测提供了证据。

图3 检测分析发现雌蝇特定部位的空间位置决定雄性动作参数

（图源：Ning J et al., Curr Biol, 2022）

生物运动信息是重要的同类特征。发现雄蝇动作参数还受到雌蝇运动速度和运动方向也就是运动矢量的影响（图4），提示矢量化的动态多维特征检测。这一发现同时提示运动结构算法（structure from motion，SfM）可能参与结构化特征的检测。

图4 雌蝇运动矢量决定雄性动作参数

（图源：Ning J et al., Curr Biol, 2022）

进一步通过广义线性模型（GLM）、逆相关（RC）等系统辨识方法测量感觉运动传递函数（图5），发现了雄蝇动作与雌蝇特征之间的一般性关系：雄蝇的特定动作参数与雌蝇特定部位的空间位置和运动方向等特定姿态特征以特定时延具有稳定的时空关系。空间上，距离变化影响动作的发生时间，而角度的变化易于影响动作的方向；时间上，过去而不仅是当前时刻的特征都会影响动作，提示经验依赖性。如一位审稿人所述：该研究的发现和最新的空间建模与物体识别理论紧密结合。

图5 系统辨识建立感觉运动传递函数揭示依赖时空结构化特征检测的行为模型

（图源：Ning J et al., Curr Biol, 2022）

和人类的舞蹈一样，果蝇的“圆舞”是一种全身动作。“圆舞”涉及六条腿、双翅以及头和腹。如何协调这些不同部位的运动？定量分析发现“圆舞”具有良好的运动协调性（图6）。 

图6 “圆舞”动作的协调

（图源：Ning J et al., Curr Biol, 2022）

“圆舞”这一协调的复杂运动对雌性吸引力远大于简单的振翅行为（图7 N）。有趣的，在雄蝇为雌蝇起舞后，雌蝇同样会跟随雄蝇而动，并最终实现动作的同步（图7 P）。这些发现提示：“圆舞”不仅是简单的感觉运动转换，更是一种目标驱动的过程。

图7 “圆舞”过程中个体间动作的同步

（图源：Ning J et al., Curr Biol, 2022）

为了揭示“圆舞”发生的潜在动机，通过一系列回顾性分析证实“圆舞”为目标驱动的求偶过程（图8）。目标驱动的行为中感觉运动信息常表现出强偶联关系，并依赖物体识别过程。如另一位审稿人所述，该研究不仅对于果蝇研究而且对于整个感觉运动整合领域都具有很大价值。这同时也进一步说明“圆舞”是物体识别的理想范式。

图8 回顾性分析揭示“圆舞”为求偶过程中目标驱动的视觉行为

（图源：Ning J et al., Curr Biol, 2022）

 图9 由SoAL，SDPD-15k和MIAS等构成的自然行为高通量实验和分析系统

（图源：Ning J et al., CSHL Neurobiology of Drosophila meeting 2021）

文章结论与讨论，启发与展望

该研究以高精度行为分析技术和高通量行为实验为基础。作者设计加工了一套高通量的行为装置，能够同时对几十对果蝇进行实验和视频录制。有了大量的行为视频，还需要一套自动化的行为分析系统，完成从图像关键点识别到行为提取的一系列分析流程，然而，已有技术[11]不适于动态复杂的社交行为分析。作者通过结合人工神经网络与图像处理技术，实现了一套分析系统（图9），能够在社交环境下进行高精度行为测量。通过将自上而下的模块化架构和高分辨卷积神经网络[12]相结合，开发了果蝇社交行为运动分析工具SoAL，性能数倍于DeepLabCut [11]等常用工具；同时建立了首个果蝇社交行为标注数据集SDPD-15k（关于果蝇社交行为的ImageNet）。开发了多相机同步成像控制工具MIAS，支持多种国产相机。还发展了系统辨识方法应用于高维行为数据分析。如一位审稿人所说，该研究发展了用于未来计算行为学研究的工具，特别是这些高分辨行为数据与系统辨识方法的结合。

该研究建立了复杂物体识别的新研究模型，给出了一系列感觉运动传递函数，并总结提出了“结构化特征检测（structured feature detection，SFD）”这一新概念，为个体识别问题奠定了一套新的理论框架。此外，该工作还研究了社交行为中动作的协调，以及个体间动作的相互同步，发现了目标驱动的感觉运动整合过程。在技术上，开发了性能数倍DeepLabCut的社交行为分析工具SoAL；开发了首个果蝇社交行为训练集SDPD-15k；开发了多相机同步成像工具MIAS；发展了系统辨识方法应用于高维数据分析。这些在成像、运动预测、标注数据集和系统辨识方面的一系列新技术构成了自然行为的完整研究体系。当然，行为学研究的最终目标是发现神经网络计算原理。今后的研究中有望揭示如何在果蝇紧凑的环路上实现这些复杂的计算，并最终阐明其中的一般性原理，启发未来智能系统的设计。

原文链接：https://doi.org/10.1016/j.cub.2022.01.024 

本文第一作者为西湖大学与浙江大学联合培养博士生宁静，通讯作者为西湖大学生命学院研究员孙一。研究受到国家自然科学基金、西湖实验室、西湖教育基金会等资助。

第一作者宁静（左），通讯作者孙一 （右）。

（照片提供自：孙一课题组）

孙一实验室致力于社会交互中个体间感知识别与行为决策等认知过程神经网络计算原理的研究；同时注重相关问题驱动的方法体系的开发，并与具体科学问题深度融合。在视觉动态刺激选择、神经功能成像等方面取得了进展。实验室长期招聘招收系统与计算神经科学背景的博士后、博士生与科研助理。更多信息请见：https://sls.westlake.edu.cn/Our_Faculty/202006/t20200617_5891.shtml

往期文章精选

优质科研培训课程推荐

参考文献（上下滑动查看）  

1. Hesse, J.K., and Tsao, D.Y. (2020). The macaque face patch system: a turtle’s underbelly for the brain. Nat. Rev. Neurosci. 21, 695–716.

2. Anderson, D.J., and Adolphs, R. (2014). A framework for studying emotions across species. Cell 157, 187–200.

3. Sokolowski, M.B. (2010). Social interactions in "simple" model systems. Neuron 65, 780–794.

4. Kurtovic, A., Widmer, A., and Dickson, B.J. (2007). A single class of olfactory neurons mediates behavioural responses to a Drosophila sex pheromone. Nature 446, 542–546.

5. Koganezawa, M., Haba, D., Matsuo, T., and Yamamoto, D. (2010). The shaping of male courtship posture by lateralized gustatory inputs to male-specific interneurons. Curr. Biol. 20, 1–8.

6. Thistle, R., Cameron, P., Ghorayshi, A., Dennison, L., and Scott, K. (2012). Contact chemoreceptors mediate male-male repulsion and male-female attraction during Drosophila courtship. Cell 149, 1140–1151.

7. Clowney, E.J., Iguchi, S., Bussell, J.J., Scheer, E., and Ruta, V. (2015). Multimodal chemosensory circuits controlling male courtship in Drosophila. Neuron 87, 1036–1049.

8. Hindmarsh Sten, T., Li, R., Otopalik, A., and Ruta, V. (2021). Sexual arousal gates visual processing during Drosophila courtship. Nature 595, 549–553.

9. Ribeiro, I.M.A., Drews, M., Bahl, A., Machacek, C., Borst, A., and Dickson, B.J. (2018). Visual projection neurons mediating directed courtship in Drosophila. Cell 174, 607–621.e18.

10. Pan, Y., Meissner, G.W., and Baker, B.S. (2012). Joint control of Drosophila male courtship behavior by motion cues and activation of male-specific P1 neurons. Proc. Natl. Acad. Sci. USA 109, 10065–10070.

11. Mathis, A., Mamidanna, P., Cury, K.M., Abe, T., Murthy, V.N., Mathis, M.W., and Bethge, M. (2018). DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat. Neurosci. 21, 1281–1289.

12. Sun, K., Xiao, B., Liu, D., and Wang, J. (2019). Deep high-resolution representation learning for human pose estimation. Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. 5693–5703.

制版︱王思珍

本文完