AAAI 2024 | 武大提出神经元分类全新框架，联合学习神经元骨架与大脑回路拓扑结构

论文标题：

Joint Learning Neuronal Skeleton and Brain Circuit Topology with Permutation Invariant Encoders for Neuron Classification

论文作者：

廖明辉（武汉大学），万国佳（武汉大学），杜博（武汉大学）

论文录用：

AAAI 2024 Main Technical Track

论文链接：

https://arxiv.org/abs/2312.14518

代码及数据链接：

https://github.com/WHUminghui/NeuNet

引言

确定神经系统中神经元类型在大脑连接组学分析和神经系统疾病研究中扮演重要角色。然而，利用神经元的解剖、生理或分子特征的方法却效率相对较低且成本高昂。随着电子显微镜成像技术和大脑组织分析技术的进步，目前能够获得包含神经元高分辨率形态学和连接信息的全脑连接组数据。

然而，基于此类数据构建的用于自动神经元表征学习的模型却寥寥无几。在本文中，我们提出了一种名为 NeuNet 的框架，该框架结合了从神经元骨架获得的形态学信息和从连接组中获得的神经元间拓扑信息。

具体而言，NeuNet 由三个组成部分构成，即骨架编码器（Skeleton Encoder）、连接组编码器（Connectome Encoder）和读出层（Readout Layer）。Skeleton Encoder 采用一维卷积处理神经骨架的点数据，以自底而上的方式整合神经元的局部信息从而得到神经元的全局信息；Connectome Encoder 使用图神经网络（GNN）捕获连接组中的拓扑信息；最后，读出层融合上述两种信息并输出分类结果。

从来自果蝇大脑和人类大脑组织切片的神经数据中，我们处理并发布了两个新的神经元回路数据集，用于神经元分类任务。在这两个数据集上的实验表明了我们模型 NeuNet 的有效性，准确率分别为 0.9169 和 0.9363。

方法

NeuNet 主要由三个部分组成，即 Skeleton Encoder，Connectome Encoder 和 Readout Layer 层。Skeleton Encoder 用于学习脑神经元的形态学特征，Connectome Encoder 挖掘神经元在连接组当中的拓扑信息，而 Readout Layer 则对以上两种信息进行整合，输出神经元的综合学习表示

2.1 Skeleton Encoder

脑组织的电子显微镜照片上可以清晰的分辨出神经元细胞的轮廓，对其进行采样，并经过多张空间连续切片的电子显微镜照片叠加可以得到神经元在三维空间的形态信息。这种信息是由多个三维空间点的坐标构成，面对这种无序的点集数据，我们提出了基于一维卷积的自底向上的骨架信息编码器。该编码器主要由以下几个步骤实现。

1）采样。受 CNN 的启发，目标是构建用于神经元骨架点集数据的不同区域的局部特征提取器。首先，必须确定这个特征提取器要与哪些区域进行交互。给定输入点 ，我们使用最远点采样法（FPS）来选择一个点子集 作为这些区域的质心。这一选择确保了采样点之间的距离最远。相对于随机抽样，FPS 可以提供更广泛的覆盖范围，这有助于从输入点获取全局形态信息。

2）组合。随后的任务涉及在中心点周围分别划定这些区域的范围。对于抽样选取的一个给定的点集 和点 ，我们以 为质心，在 中分别找到与质心最相邻的点 ，形成 个群。考虑到 中点的密度和分布不均匀，为了保证区域尺度固定，我们查找在质点半径范围内的 个点。组合的输入是一个大小为 的点集，输出是大小为 的点集组，其中每组对应一个局部区域， 是质心点的邻域内的点数。

3）卷积操作。对于组合操作生成的点集组，它们保留了固有的无序性。为了在不考虑输入点顺序的情况下从组点中提取一致的特征，我们采用一维卷积来获取组内的局部形态特征。在获得一维卷积操作之后提取到的特征之后，经过 maxpooling 获得组内的局部特征向量，作为中心点新的特征。

重复以上操作直至最终全局的形态特征被提取。

2.2 Connectome Encoder

连接组（Connectome）由神经元细胞和神经突触组成。神经元之间通过神经突触建立连接进行信息交互，由此连接组可以视为以神经元为节点、神经突触为连接边的图结构，两个神经元之间的神经突触的数量可以视为连接边的强度。相似的神经元在连接组的位置往往具有相似的上下文信息，我们采用了 GNN 来挖掘神经元在连接组中的拓扑学特征。

连接组中神经元的连接非常复杂，为了挖掘到与神经元远距离连接的上下文拓扑信息，需要进行多层的 GNN 操作。为了避免 GNN 多层堆彻而产生的 over-smoothing 问题，我们使用了携带有恒等映射和初始残差连接的图神经网络模型 GCNII，其向前传播公式如下：

其中 为归一化的连接矩阵，连接矩阵加上自连接 。 是度矩阵, 有 。 随机初始化的节点特征。 是可学习参数矩阵。

2.3 Readout Layer

将以上神经元的形态学特征和拓扑学特征拼接起来，再接一个多层感知机（MLP）结构，输出最终神经元的特征。文中的损失函数采用经典的交叉熵损失：

实验

我们整理并使用了两个数据集来验证模型的效果，这两个数据集是分别来自于果蝇大脑的 HemiBrain 和人脑组织的 H01。

3.1 神经元分类任务

由上表可以观察到 NeuNet 取得了 SOTA 的神经元分类效果。

3.2 特征可视化

使用 t-SNE 将 Readout Layer 融合的特征降维到二维，与其他的方法进行可视化对比：

可以观察到 NeuNet 将神经元数据投射到一个更易于分类的隐向量，这在其他方法上是无法观察到的。这表明它有更准确的神经元表示学习能力。

3.3 神经元检索

收集到 NeuNet 学习的特征表示之后计算它们之间的欧式距离，随机选取一些神经元进行检索实验。实验结果如图所示：

可以观察到我们模型学习的特征是连续分布的，相似的神经元它的特征表示也更相似，它们往往组成大脑的功能区域单位。

3.4 消融实验

消融实验评估了神经元的形态学特征、在连接组中的拓扑学特征和两者融合的方式对模型的影响。实验证明两种特征的有效性。

结论

本文提出了一种专门用于神经元分类任务的 NeuNet 框架，该框架融合了神经元骨架的形态学信息和具有置换不变性的连接组拓扑信息。NeuNet 的 Skeleton Encoder 采用自下而上的方式挖掘神经元 sekleton 的形态信息，而 NeuNet 的 Connectome Encoder 采用 GNN 提取脑回路的拓扑信息。这两种信息被融合并被读出层用于分类。

此外，我们对两个数据集进行了再处理和释放，用于神经元分类任务。在这些数据集中，NeuNet 与其他基线模型相比表现出了更好的性能。

我们还整理并公布了上述提到的两个神经元回路数据集。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·