查看原文
其他

助力大脑神经网络研究,发布高分辨率果蝇半脑突触连接图

Google TensorFlow 2021-08-05

文 / Michal Januszewski 与 Viren Jain,Google

我们一般用“网络”来有效地描述复杂的系统,即测量与研究网络中各个部分相互连接和通信的方式。生物学家会研究基因网络,社会学家研究社交网络,搜索引擎在某种程度上也通过网页之间的互联来分析互联网。


神经学领域有一个由来已久的假设:脑细胞之间的神经连接在脑功能中起着重要作用。神经学科学家在过去因技术限制而无法深入研究大脑神经网络,但随着技术的发展,这种状况正在改变。去年 8 月,我们宣布将对整个果蝇大脑在纳米级分辨率自动重建,并绘制了单体细胞的形状。然而,当时该研究未能揭示有关脑细胞 神经连接 的信息。


现在,我们与 HHMI Janelia 研究园区FlyEM 团队及一些研究伙伴合作,发布“半脑”连接组(“Hemibrain” Connectome),这是高度细节化的果蝇大脑神经元连接图,同时还包括一套用于可视化和分析的工具。


此“半脑”源于半个果蝇大脑的 3D 图像,其中包含超过两千万个神经链接与经验证的 25,000 个神经元。迄今为止,这是人类所有物种范围内绘制的突触级分辨率脑连接图。与在二十年前发布,现已成为生物学基本工具的果蝇基因组类似,我们发布项目成果的目的是提供公共资源,以便科学家推进自己的研究工作。

此半脑连接组涵盖果蝇的多个脑区域。另可参阅:交互版(示例区域:蘑菇体



半脑连接组的成像、重建和验证

多研究机构在长达十余年的研发过程中紧密协作,克服了重重困难,才有了半脑连接组项目的成功。在 Janelia,研究人员使用新方法给果蝇大脑染色,并将染色后将大脑组织切片成 20 微米的薄片。然后,使用定制的聚焦离子束扫描电子显微镜对每个薄片以 8x8x8 立方纳米像素级别成像,此过程长达数月。研究人员也开发出多种计算方法,将原始数据拼接并对齐到一个连续的 26 万亿像素 3D 体中。


但是,只有对果蝇脑神经元进行精确的 3D 重建,才能更好地利用这类成像数据生成连接组。


Google 与 Janelia 在 2014 年建立合作关系,开始研究果蝇大脑数据,专注于实现 3D 自动化重建。经过几次技术发展迭代,我们设计了名为 Flood-Filling Network (FFNs) 的方法,并将其应用于重建半脑数据集。在当前项目中,我们与合作伙伴紧密协作,除显示神经元形状外,我们还优化重建结果并生成连接组(如:嵌入了验证和突触检测流程)。

果蝇半脑数据中神经元的 FNNs 分割(追踪)部分


FFNs 是第一种能够实现高精度的重建,并推动了整个半脑项目发展的自动分割技术。自动重建中的错误需要由专家验证,之前的方法需要他们工作上 千万 小时。而借助 FFNs,同样的验证工作只需数十万小时,实现了两个数量级的效率提升。


依旧庞大的验证工作由一个高熟练度且专注的团队耗费两年多的时间完成,Janelia 也为验证工作定制了工具与工作流程。注释员通过 VR 头盔和自定义 3D 对象编辑工具检查神经元形状,并修复自动重建中的错误。随后,我们使用这些经验证过的内容重新训练 FFNs 模型,修正并得到更加准确的结果。


最后,研究人员将重建内容与自动突触检测相结合来生成半脑连接组。Janelia 的科学家手动标记每个突触,然后训练神经网络分类器以自动完成任务。他们通过多轮标记改进了泛化能力,并将来自两种不同网络架构的结果合并到一起,在整个半脑中生成稳定的分类。


有关半脑生成的详细信息,请参阅 HHMI 的新闻稿



已发布资源

我们发布了一组相互关联的数据集和工具,让感兴趣的人能够以编程方式研究果蝇连接组并得到可视化的结果。具体而言,您有以下资源可用:
  • 数 TB 的原始数据、经过验证的 3D 重建结果,以及突触注释;这些资源可以交互显示或批量下载
  • 基于网络的工具 neuPrint,可用于查询任何指定神经元的连通信息、伙伴神经元、连接强度和形态。
  • 连接组的紧凑表征,大小比原始数据小一百万倍。
  • 文档和视频教程,介绍上述资源的用途。
  • 包含有关生成和分析半脑连接组的详细信息的预印本



后续步骤

研究人员已经开始使用半脑连接组,以便更深入地了解果蝇神经系统。例如,我们现在感兴趣的是名为“中央复合体”的重要脑回路,它负责整合感官信息,并参与导航、运动控制和睡眠活动:

果蝇大脑中央复合体中“环状神经元”的详细视图,此神经元是我们可以通过半脑重建和连接组研究的神经回路之一。互动版:环状神经元椭球体


研究人员正也正在深入研究“蘑菇体”回路,是主要负责学习和记忆的主要部位,半脑连接组中绘有其详细结构(可视化交互版)。



致谢

我们要感谢以下人士的杰出贡献:Tim Blakely、Laramie Leavitt、Peter Li、Larry Lindsey、Jeremy Maitin-Shepard (Google)、Stuart Berg、Gary Huang、Bill Katz、Chris Ordish、Stephen Plaza、Pat Rivlin、Shin-ya Takemura(与 Google 团队密切合作的 Janelia 协作者),以及 Janelia 和其他相关方中参与此半脑项目的其他出色合作者。



如果您想详细了解 本文提及 的相关内容,请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题:

  • 宣布
    https://ai.googleblog.com/2019/08/an-interactive-automated-3d.html

  • Janelia 研究院
    https://www.janelia.org/

  • FlyEM
    https://www.janelia.org/project-team/flyem

  • 合作
    https://www.janelia.org/news/unveiling-the-biggest-and-most-detailed-map-of-the-fly-brain-yet

  • 发布
    https://scholar.google.com/scholar?hl=en&as_sdt=0%2C5&q=%22The+Genome+Sequence+of+Drosophila+melanogaster%22&btnG=

  • 交互版
    https://hemibrain-dot-neuroglancer-demo.appspot.com/#!gs://neuroglancer-janelia-flyem-hemibrain/v1.0/neuroglancer_demo_states/base.json

  • 蘑菇体
    https://hemibrain-dot-neuroglancer-demo.appspot.com/#!gs://neuroglancer-janelia-flyem-hemibrain/v1.0/neuroglancer_demo_states/kc_apl_mpn1.json

  • 聚焦离子束扫描电子显微镜
    https://www.biorxiv.org/content/10.1101/852863v1.abstract

  • 迭代
    https://papers.nips.cc/paper/6595-combinatorial-energy-learning-for-image-segmentation.pdf

  • Flood-Filling Network
    https://ai.googleblog.com/2018/07/improving-connectomics-by-order-of.html

  • 自动突触检测
    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6215860/

  • HHMI 的新闻稿
    https://www.janelia.org/news/unveiling-the-biggest-and-most-detailed-map-of-the-fly-brain-yet

  • 显示
    https://hemibrain-dot-neuroglancer-demo.appspot.com/#!gs://neuroglancer-janelia-flyem-hemibrain/v1.0/neuroglancer_demo_states/base.json

  • 下载
    https://www.janelia.org/project-team/flyem/hemibrain

  • neuPrint
    https://neuprint.janelia.org/

  • 紧凑表征
    https://storage.googleapis.com/hemibrain/v1.0/conn_summary.tgz

  • 介绍
    https://www.janelia.org/project-team/flyem/hemibrain

  • 预印本
    https://www.biorxiv.org/content/10.1101/2020.01.21.911859v1

  • 环状神经元
    https://hemibrain-dot-neuroglancer-demo.appspot.com/#!gs://neuroglancer-janelia-flyem-hemibrain/v1.0/neuroglancer_demo_states/r4.json

  • 椭球体
    https://hemibrain-dot-neuroglancer-demo.appspot.com/#!gs://neuroglancer-janelia-flyem-hemibrain/v1.0/neuroglancer_demo_states/eb.json

  • 交互版
    https://hemibrain-dot-neuroglancer-demo.appspot.com/#!gs://neuroglancer-janelia-flyem-hemibrain/v1.0/neuroglancer_demo_states/kc_apl_mpn1.json



— 推荐阅读 —



    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存