受生物脑与行为机制启发，中科院团队实现无人机群体自主避障行为 | 科技导报

中国科学院自动化研究所曾毅研究员课题组借鉴生物集群分布式、自组织的协同机制，采用奖励调控的脉冲神经网络实现个体的在线避障学习，基于此进展，独立的无人机个体在自组织交互过程中涌现出群体的自主避障能力。

自然界中的生物集群行为，如纷乱而有序的鱼群，协作觅食的蚂蚁，寻找花蜜的蜜蜂，结队飞行的鸟群，均表现出自组织、去中心化、分布式等特点，并能够通过灵活地协作以实现对环境的适应能力。

这样仅具备简单感知和决策能力的个体，在没有集中控制的情况下，通过高效灵活的协作在群体层面展现出复杂且有序的智能行为，其自组织协同机理对于启发无人机集群实现自然启发的群体智能具有重要意义。

近日，中国科学院自动化研究所曾毅研究员课题组在Cell细胞出版社旗下期刊Patterns上发表了一篇题为“Nature-inspired Self-organizing Collision Avoidance for Drone Swarm Based on Reward-modulated Spiking Neural Network”的新研究。

这项研究借鉴生物集群分布式、自组织的协同机制，采用奖励调控的脉冲神经网络实现个体的在线避障学习，基于此进展，独立的无人机个体在自组织交互过程中涌现出群体的自主避障能力。

本文的第一作者、课题组副研究员赵菲菲介绍道，群体智能研究中由于个体行为之间的耦合影响，对集群行为的优化通常采用中心控制的方法。而全局的优化往往带来大量的计算，对环境变化的适应性较差，对个体损坏也极其敏感。

一些去中心化的群体行为研究采用深度神经网络实现离线学习、在线测试，如此很难直接适应于在真实场景下的在线交互式学习。这些模型与自然界中的生物集群行为机理相去甚远。经典的蚁群算法、粒子群算法等是受生物集群行为的自组织协同机制启发的类生物集群智能算法。还有一些模型借鉴鸟群协调一致的飞行行为机制，设计了基于分离、一致、内聚的简单规则相互作用下涌现出复杂的群体行为。

小小的黏菌生长模型模拟黏菌为寻找食物四处伸展探索，并保留空间上的最短路径，逐渐收缩无用的路径，绘制出类似于东京交通网络等复杂又神奇的网络结构。这些自然启发的自组织群体行为中单个个体通常还不被认为具备很强的自主学习和决策能力。

中国科学院自动化研究所曾毅负责的类脑认知智能研究组借鉴自然界中生物集群行为所体现的分布式、自组织、自适应等智能机理，将其映射到无人机集群的自主生存避障模型，提升无人机集群在真实场景下的智能决策和协同能力。

生物集群所呈现出的去中心化的各种协调有序的群体行为，由具备简单智能的个体之间局部的自组织交互涌现，使得在环境中表现出高效的自主协作能力、灵活的自适应能力。受此启发，该项研究从三个方面构建无人机集群自然启发的自组织避障模型。

无人机个体局部感知与交互

该团队表示，个体仅仅与其周围局部的环境进行在线的交互，以调整自身的策略适应局部环境。每架无人机仅能够感知到其视野内邻近的其他无人机的行为，并根据局部感知到的他机的状态和行为来优化自身策略。集群的行为由无人机个体之间局部自组织的交互协同产生，因此对个体损坏或异常展现出较强的鲁棒性及稳定性。

无人机局部感知

无人机个体独立地学习避障策略

据介绍，无人机集群没有集中的全局控制，也不存在中心点，无人机个体具备简单的自主学习能力，独立地根据局部的环境来在线学习安全的策略。

此项研究采用更加接近生物脑信息处理机制的脉冲神经网络来实现强化学习，模型融合长时程的多巴胺全局调控和局部的脉冲时序依赖突触可塑性，在线地调整和优化自身策略以适应环境。具备简单学习能力的个体之间交互协同，在集群整体上能够高效、灵活地涌现出分布式的智能行为。

奖励调控的类脑脉冲神经网络

无人机集群自组织安全飞行

曾毅表示，在无人机集群中，仅仅具备局部感知、自主学习能力的个体，在不断与局部环境、其他无人机交互过程中积累经验，不断学习以提升对环境的适应性。多架无人机之间交互协同，自组织地涌现出群体避障行为。

无人机集群自组织避障过程

研究团队将所提模型在类食蚜蝇的生存定域实验上进行验证，即具有“领地所有权”机制的集群在有限区域内能够彼此之间保持安全的稳态，不会发生碰撞并且互不侵犯“领地”。他们在仿真场景及真实场景下分别执行了大量的实验。

结果发现，有限区域内无人机集群能够保持长时间稳定、安全地飞行。在面对动态、不确定的真实环境下，无人机集群能够快速地学习和适应到新的稳态，无人机之间不会发生碰撞，无人机也可以灵活地躲避有限区域的边界。

真实场景下无人机集群生存定域实验演示

此外，研究团队在仿真场景上做了更加深入的分析。考虑在较大碰撞阈值情况下，有限区域内不同集群规模的生存定域实验表明定域内集群规模越大，出现危险的概率越大。通过统计在较大碰撞阈值下学习过程中的碰撞次数的变化情况，他们发现集群仅需要少量次数的尝试就可以快速地学习到躲避危险的安全行为。

为了验证所提模型有效性，此项研究还与基于人工神经网络的在线学习方法进行了对比，结果表明采用脉冲神经网络表现出更优的性能和更好的稳定性。

碰撞阈值较大的情况下，不同方法的结果对比。a.不同集群规模的碰撞情况。b.学习过程中，不同模型碰撞次数的变化情况。

总体而言，这项研究受自然界中生物集群自组织、分布式的智能行为机制启发，采用具备生物合理性的类脑脉冲神经网络结合局部交互实现无人机集群的在线自组织智能决策。从群体行为决策机制到个体的在线学习模型都更接近于生物的信息处理机制，为未来发展受自然界生物学习、决策、演化机理深度启发的集群智能打下了基础。

本研究的通讯作者曾毅表示：“我们认为这项研究最大的特点是基于局部的类脑学习与决策原理和与环境的交互，演化和涌现出群体水平的自组织避障和安全稳定探索的行为，这说明表象复杂的认知功能与智能行为其关键的科学原理未必复杂，个体机理与行为的自组织涌现出复杂的群体认知功能与行为。这增加了我们进一步挑战更为复杂、高等认知功能的信心与决心。”

“近十年来我们正在持续不断打造全脉冲神经网络的类脑认知智能引擎Brain-inspired Cognitive Intelligence Engine (BrainCog)用于支持解码包括人类在内的生物智能本质并在此基础上研制类脑人工智能。此项研究正是类脑认知智能引擎BrainCog在类脑学习机理与涌现、行为演化方面的基础性探索与应用，相关模型与算法我们已全部开源开放，希望与学术界共同促进类脑人工智能的协同发展。”曾毅介绍道。

论文信息：Feifei Zhao, Yi Zeng, Bing Han, Hongjian Fang, Zhuoya Zhao. Nature-inspired Self-organizing Collision Avoidance for Drone Swarm Based on Reward-modulated Spiking Neural Network, Patterns, Cell Press, 2022.

论文地址：https://www.cell.com/patterns/fulltext/S2666-3899(22)00236-7

本研究开源程序地址：https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/decision_making/swarm

智脉平台：http://cn.brain-cog.network/

学者简介

曾毅，中国科学院自动化研究所研究员（正高级），脑图谱与类脑智能实验室副主任；中国科学院大学岗位教授，博士生导师；中国科学院脑科学与智能技术卓越创新中心研究员，中国人工智能学会心智计算专委会主任，主要从事脑与心智启发的人工智能以及人工智能哲学与伦理研究。

内容为【科技导报】公众号原创，欢迎转载
白名单回复后台「转载」

☟精彩内容回顾

《科技导报》创刊于1980年，中国科协学术会刊，主要刊登科学前沿和技术热点领域突破性的成果报道、权威性的科学评论、引领性的高端综述，发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。常设栏目有院士卷首语、智库观点、科技评论、热点专题、综述、论文、学术聚焦、科学人文等。

《科技导报》微信公众平台创建于2014年，主要刊登《科技导报》期刊内容要点，报道热点科技问题、科技事件、科学人物，打造与纸刊紧密联系又特色鲜明的新媒体平台。科技导报公众号聚集了数万名专心学术的未来之星和学术大咖，添加编辑微信，让优秀的你有机会与志趣相同的人相遇。