查看原文
其他

突触修饰的自反向传播提高了脉冲和人工神经网络的效率 | 复杂性科学顶刊精选6篇

集智编辑部 集智俱乐部 2022-05-09

集智斑图顶刊论文速递栏目上线以来,持续收录来自Nature、Science等顶刊的最新论文,追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能,每周通过微信服务号「集智斑图」推送论文信息。


扫描下方二维码,关注“集智斑图”服务号,即可订阅Complexity Express:             



Complexity Express 一周论文精选




以下是2021年10月18日-10月24日来自Complexity Express的复杂性科学论文精选。如果Complexity Express列表中有你感兴趣的论文,欢迎点赞推荐,我们会优先组织解读~

目录:

1、突触修饰的自反向传播提高了脉冲和人工神经网络的效率
2、以层次细胞结构模型解开活细胞的普遍幂律流变行为
3、从稀缺数据中学习控制方程的物理知识
4、灵长类相互作用群体中前额叶外皮内的社会主体识别细胞
5、细胞-细胞连接的主动不稳定性和非线性动力学

6、空间社会困境促进多样性

 

1. 突触修饰的自反向传播

提高了脉冲和人工神经网络的效率


期刊来源:Science Advances

论文标题:

Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks

论文地址:

https://www.science.org/doi/10.1126/sciadv.abh0146


活动依赖性突触修饰( Activity-dependent synaptic modification )是自然神经网络学习的基础。受其启发,人工神经网络中开发了一种通过调整突触的权重来实现正确输出的算法,被称为反向传播(backpropagation,BP),如今已广泛应用于各类神经网络。而随着对大脑学习机制的不断研究,以及将其与机器学习算法结合的不断尝试,第三代神经网络——尖峰神经网络(Spiking neural networks,SNN)应运而生。SNN中,信息通过被称为尖峰或动作电位的离散事件传播,在时序信息的处理上更为强大,但其效率与基于BP的学习算法相比仍较低。


10月20日发表于Science Advances的文章聚焦于基于可塑性(plasticity-based)的训练方法,在SNN中引入了一种全新的非局部突触修饰“自反向传播(self-BP,SBP)”,这一形式有助于实现突触修饰的协调全局传播,从而在增加准确性的同时,降低计算成本。该研究进一步证明了神经科学与人工智能间双向交互的巨大潜力。


图1. SBP在三个基准任务(从左至右依次为手写字迹识别,音译,手势识别)中均改善了SNN的性能。(A)改进后的SNN具有更高的测试精度(B)通过百分比因子λp和分数因子λf表示SNN的精度(C)改进后的SNN同时具有高精度和低计算成本
 

2. 以层次细胞结构模型

解开活细胞的普遍幂律流变行为


期刊来源:Nature Communications

论文标题:

A hierarchical cellular structural model to unravel the universal power-law rheological behavior of living cells

论文地址:

https://www.nature.com/articles/s41467-021-26283-y


活细胞是一种复杂的活性材料,既具有固态材料的弹性,又具有液态材料的粘性,并且其力学性质对发育、肿瘤转移和病变筛选等都具有重要意义。无论何种类型或状态,细胞均表现出普遍的幂律流变行为( power-law rheological behavior,材料的流变行为是由剪切应力和剪切速率之间的关系描述的,这种关系称为流动曲线,可以用流变仪测量),这是细胞的一个显著特点,然而到目前为止仍不存在对该现象进行刻画的统一框架。


10月18日发表于 Nature Communications 的文章提出了一个细胞结构模型,解释了细胞膜、细胞质和细胞骨架的基本机械响应。结果表明,该模型能够自然地再现细胞流变行为的普遍幂律特性,以及幂律指数与细胞刚度的关系。更重要的是,幂律指数α可以通过改变细胞骨架的硬度或结构,在0.1-0.5范围内进行定量调整。


图1.对细胞刚度进行标准化后,幂律指数α可以落在一条以相对刚度的对数为横坐标的统一曲线上。


实际上除了细胞之外,幂律流变行为也出现在不同分子组成的各种生物材料中,这表明各种材料的共同幂律流变特性可能并不是源于特定分子的性质,而是源于相似的微观结构。因此,一个成功的细胞力学综合模型可能具有一般性。


 

3. 从稀缺数据中

学习控制方程的物理知识


期刊来源:Nature Communications

论文标题:

Physics-informed learning of governing equations from scarce data

论文地址:

https://www.nature.com/articles/s41467-021-26434-1


当前对复杂动力系统的建模大多基于控制系统行为的常微分方程或偏微分方程。这些控制方程通常是从严格的第一性原理(如守恒定律)出发。然而,现实世界中仍有许多复杂系统没有得到充分研究,对其分析性的描述和控制方程的形式都是未知的。幸运的是,随着观测数据集的增长及数据提取方法的进步,利用数据来对复杂系统进行建模及模拟,以及揭示其控制方程都成为可能。


10月21日发表于Nature Communications的文章提出了一种新的基于稀疏回归的嵌入物理知识的神经网络方法(physics-informed neural networks,PINN),从少量嘈杂的非线性时空系统数据中发现控制偏微分方程。该方法无缝集成了深度神经网络的优势,包括丰富的表征学习、自动微分等。通过在具备不同稀缺性及噪声的数据中探索一系列偏微分方程,该方法的效率和稳健性在数值上和实验上均得到了证明。


表1.研究提出的PINN发现各偏微分方程的结果。其中误差定义为辨识出的非零系数相对于由非线性动力学的稀疏识别(sparse identification of nonlinear dynamics,SINDy)得出的基准真值的平均相对误差,括号中的百分号表示噪声水平。


该研究所引出的计算框架揭示了在数据量及其准确性不能得到保证的情况下,具备闭环形式的模型探索的潜力。


 

4. 灵长类相互作用群体中

前额叶外皮内的社会主体识别细胞


期刊来源:Science

论文标题:

Social agent identity cells in the prefrontal cortex of interacting groups of primates

论文地址:

https://www.science.org/doi/10.1126/science.abb4149


社会互动在许多动物的行为中扮演着基础性的角色,个体的行为在互动中不仅影响其它个体的幸福,也影响其它个体根据自身感受给出的反应。因此,表征个体身份以及其行为与结果的对应是社会互动成功的必要条件。如果没有这些表征,个体就不可能了解自己的行为如何影响特定的社会成员,社会也不可能形成互利的关系。


社会互动的表征在大多数灵长类动物(包括人类)中尤其重要,特别是对于恒河猴而言,它们会形成非亲缘关系的相互作用和长期的联盟,在互惠个体成员的基础上展现互利行为。然而,灵长类动物大脑中的神经元如何精确地表征群体的交互行为,或者如何解决为多个主体编码的基本问题,仍然是一个很大的未知数。


10月22日发表于Science的文章跟踪由三只恒河猴组成的小群体的社会行为,发现其背内侧脑前额叶外皮( dorsomedial prefrontal cortex ,dmPFC)中的神经元为其他恒河猴的主体身份编码,并将这一身份与其特定的行为联系起来。对特定群体成员当前和过去的行为和结果进行编码,并结合其它涉及社会认知的核心区域,这些神经元可以形成多种相互作用的详细表征,共同构建一个群体动力学的“全景”,为决策提供信息,促进形成有效群体社会所必需的特定主体的相互作用。


图1.三只恒河猴组成的小群体展现了丰富的群体行为及主体识别。(左)三只猴子围坐在一个旋转餐桌旁,每个猴子可以依次使用旋转餐桌向另一组成员中的一个提供食物奖励,研究人员记录了该过程dmPFC中的神经活动(右上)代表特定成员接受奖励(recipient)和提供奖励(actor)的个体神经元活动(右下) dmPFC 中的神经元共同编码有关群体内特定互动的详细信息,包括互动的方向性、其他群体成员过去的行为,以及该行为对各成员的影响等


 

5. 细胞-细胞连接的

主动不稳定性和非线性动力学


期期刊来源:Physical Review Letters

论文标题:

Active instability and nonlinear dynamics of cell-cell junctions

论文地址:https://journals.aps.org/prl/accepted/4b072Y7dN5d1e27614f51e03aa478b578e442874e


在发育、伤口愈合和癌症期间,活跃的细胞连接重塑(active cell-junction remodeling)对于组织变形和流动至关重要,但理论上对其机制所知甚少,这在形态发生事件(morphogenetic events)的模型上尤其明显。这类模型通常同时施加主动张力(active tensions)的空间分布和时间过程,随后使用松弛动力学计算细胞变形和流动。实际上,主动张力的动力学在许多生物环境中起着关键作用。


10月19日发表于PRL的文章研究了在交界肌动球蛋白中产生的、由主动力偶极子(active force dipoles)驱动的活性细胞连接不稳定性。研究模型描述了临界连接塌陷(critical junction cpllapse),这可能为形态发生过程中的加速收缩提供了现象上的解释。同时,研究发现组织弹性反应中的非线性可以稳定塌陷, 产生丰富的主动动力学集合。清晰起见,该研究的分析最初用单个活性部位处理有序的组织,然后将其推广到无序组织,最后推广到主动连接网络。


该工作为未来的研究开辟了新的可能性,尤其是在不同生物条件下,可以通过时空分辨率较高的实验技术来预测体内出现的连接的非线性程度。


 

6. 空间社会困境促进多样性



期刊来源:PNAS

论文标题:

Spatial social dilemmas promote diversity

论文地址:

https://www.pnas.org/content/118/42/e2105252118


社会困境(social dilemmas)是研究合作问题的重要数学隐喻,其典型模型是囚徒困境和雪堆博弈。这类经典模型常局限于两种对立的策略,即合作C(cooperate)和竞争D(defect)。但可以很容易地将这些经典模型扩展为公共产品中连续合作行为的描述,在这样的连续博弈中研究合作投入的演化动力学。


在混合均匀的种群中,进化分支(evolutionary branching, 指频率依赖性选择将一个表型单态种群分裂为两个不同的表型簇)会发生在连续的雪堆博弈中,将合作投资分化为稳定共存的高低水平,它对于理解共存策略的出现是重要的,在社会困境中暗示了合作者和背叛者起源的进化路径。然而,种群空间结构对连续博弈,尤其是对进化分支的影响不为人知。


10月19日发表于PNAS的文章将分析拓展到具备空间结构的种群中,研究连续博弈中的进化分支并确定驱动自发且持续的分化的机制。通过空间适应动力学和广泛的基于个体的模拟,研究证明空间结构可以促进模式的多样化(尤其当选择强烈时),补充经典的进化分支。





集智新栏目 Complexity Express

上线啦!




Complex World, Simple Rules.
复杂世界,简单规则。
复杂性科学(Complexity Science)是集智俱乐部多年以来的主题,我们长期追踪关于自然、生命、社会、认知等各类复杂系统的研究进展,并组织学术研讨。
 
同时由于学科交叉融合,大量针对复杂系统的研究成果散落在人工智能、统计物理、网络科学、数据科学、计算社会科学、生命科学、认知科学等等不同领域的期刊会议中,缺乏整合。
 
为了让大家能及时把握复杂系统领域重要的研究进展,我们隆重推出「Complexity Express」服务,汇总复杂系统的最新顶刊论文。
 

Complexity Express 是什么?

Complexity Express 每天爬取复杂系统领域最新发表的顶刊论文,每周通过“集智斑图”服务号汇总推送。
 
进入 Complexity Express 页面即可随时查看顶刊论文更新,你也可以通过微信接收研究更新推送和一周汇总。

               


Complexity Express 为谁服务?

  • 如果你是复杂系统领域的研究者,可获得重要论文上线通知,每周获取最新顶刊论文汇总。

  • 如果你是复杂系统领域的学习者,可了解学界关注的前沿问题,把握专业发展脉络。

  • 如果你是传统的生命科学、社会科学等学科中的研究者/学习者,可以从复杂性科学和跨学科研究中获得灵感启发。

  • 如果你是关注前沿研究发现的知识猎手,可获得复杂系统研究对自然和人类世界的最新洞见。
Complexity Express 栏目也是集智俱乐部公众号的主要选题来源,诚挚邀请你订阅,与我们信息同步。
 

Complexity Express 论文从哪里来?

考虑复杂系统研究往往属于跨学科工作,我们主要抓取综合类和泛物理类/计算机类的顶级期刊,从每周新发表的数百篇论文中精选出与复杂系统相关的论文。
 
Complexity Express 参考影响因子和学者口碑,选择了如下期刊,每日爬取其论文更新:
  • Nature

  • Science

  • PNAS

  • Nature Communications

  • Science Advances

  • Physics Reports

  • Physical Review Letters

  • Physical Review X

  • Nature Physics

  • Nature Human Behaviour

  • Nature Machine Intelligence

  • 更多期刊持续增补中,欢迎推荐你认为重要的期刊!
 
如果你在 Complexity Express 中发现了感兴趣的论文,请立刻“点赞”!每周最高赞的论文,集智编辑部将组织专业解读~
 

Complexity Express 追踪哪些领域?

我们力求兼顾热点追踪与领域覆盖,目前筛选的论文主要集中在如下与复杂性关系密切的领域:
  • 网络科学各个分支及交叉应用

  • 图数据与图神经网络

  • 计算机建模与仿真

  • 统计物理与复杂系统理论

  • 生态系统、进化、生物物理等

  • 系统生物学与合成生物学

  • 计算神经科学与认知神经科学

  • 计算社会科学与社会经济复杂系统

  • 城市科学

  • 科学学

  • 计算流行病学

  • 以及一些领域小众,但有趣的工作
 
由于复杂性研究领域横跨多个学科,研究论文散落在不同的期刊上,很难不重不漏地把握最新工作。针对复杂性领域的论文筛选,我们专门设计了算法。经过数月的训练迭代优化,目前对上述领域爬取准确率达到90%以上。
 
将来我们还会根据你的具体研究领域,推出研究分类与个性化的订阅服务,敬请期待!
 
由于复杂性领域涉及的论文关键词和研究问题纷繁复杂,所以算法难免有不成熟的地方,如果你发现我们有漏掉的重要论文,或者爬到了领域有偏差的论文,欢迎联系我们(小助手微信:swarmaAI),帮助我们持续优化算法。

如果你对科学学、计算术语学等感兴趣并有代码能力,欢迎报名成为集智算法志愿者/实习生(具体请邮件联系算法组负责人huqiao@swarma.org)

如果你对复杂性科学及相关跨学科研究有长期兴趣,并乐于解读分享,欢迎加入集智作者团队(具体请邮件联系编辑部负责人liupeiyuan@swarma.org)




更多论文




更多复杂性顶刊论文,请到Complexity Express页面查看。订阅即可每周获取更新提醒。
       


点击“阅读原文”,追踪复杂科学顶刊论文

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存