见微知著：巴斯德所开发深度学习技术，极大提速超分辨率显微成像
撰文 | 欧阳未
责编 | 狄德罗
来自法国巴斯德研究所的成像与建模团队（Imaging and Modeling Unit）提出一种基于深度学习技术的图像重建技术极大地提高了成像速度并保证单分子的定位精度，使得单分子定位显微镜（SMLM）可以更加广泛的被应用于高通量成像和活体成像。4月17日，该团队在Nature Biotechnology （影响因子41）上发表了题为Deep learningmassively accelerates super-resolution localization microscopy 的研究论文。论文第一作者欧阳未是中国留法在读博士。
单分子定位显微镜（SMLM）是一种功能强大且构建相对简单的超分辨率显微镜技术，近年来越来越多地受到研究人员的青睐。Eric Betzig和庄小威等人于2006年分别提出PALM和STORM，二者原理基本相同，现在一般统称为SMLM。由于庄小威等研究团队的不断推广和改进，该技术在生物成像领域取得了巨大的成功，Eric Betzig也因此获得2014年的诺贝尔化学奖。 相比结构照明显微镜（SIM）和受激发射损耗显微镜（STED）等其他超分辨率显微技术，SMLM的优点是成像分辨率高（通常可以达到20~30nm）。但是受到工作原理的限制，其缺点也很明显：成像速度太慢。通常每生成一张高分辨率图像，需要通过相机采集成上万张图像组成的录像，然后通过定位重建软件来得到；由于图像采集通常需要持续十几二十分钟（甚至一小时），期间样品必须保持不被移动，以致成像速度非常慢，基本无法应用于高通量成像以及活体成像。
为了克服这个问题，近年来的绝大部分研究基本都是通过使用更强的激光器、更快闪烁的荧光分子等方式得到更加密集的光斑，然后通过多发射光源拟合（multiple-emitterfitting）等方法来定位。这样在短时间内就可以收集大量的定位信号，从而缩短成像所需时间，结合sCMOS等快速相机甚至可以在活体上完成成像。但这样做的缺点是，多发射光源拟合的不确定性太大，使得定位精度无法保证，从而导致图像空间分辨率上的损失。
该文章提出了一种被称为ANNA-PALM (Artificial NeuralNetwork Accelerated PALM) 的图像重建技术, 通过训练一个深度神经网络对快速采集的定位图像进行还原，使得需要采集的图像帧数从几万减少至几百帧，采集时间从几十分钟缩短到几秒甚至更短。同时，由于不需要改变荧光分子的闪烁速度和密度，所以原有的定位精度可以得到保持，因此不会因为改变光斑密度而损失空间分辨率。通过结合宽场显微镜（widefield）数据（a），文中的对比实验显示，深度神经网络不但能够单独使用少量的单分子定位图像数据来恢复超分辨率，而且在仅仅提供宽场显微镜图像的时候依然能够输出超分辨率图像，特别是当将两种数据相结合时，神经网络能够有效融合两种数据来源，提高最终图像的分辨率，同时降低错误率。图1展示了随着用于重建输入图像（b）的帧数k不断增加，ANNA-PALM的重建结果（e, f）迅速提高并很快在重建质量上接近长时间采集到的图像（c）。
图1. ANNA-PALM对宽场图像、稀疏的定位图像、以及两者结合进行处理的结果
为了充分利用ANNA-PALM能够加速成像过程这一优点，该研究还设计了高通量图像采集实验。在一个细胞样品上使用自动扫描33×33个视场区域，每个区域停留10秒进行图像采集，总共耗时3.1小时。而如果采用传统的SMLM方法，每个区域至少需要十几二十分钟的采集时间，总耗时将近300个小时，是ANNA-PALM的百倍。实际上，由于样品还受到缓冲液老化，漂移等因素的限制，传统方法一般只能成像数小时。
图2. 经过ANNA-PALM恢复后的图像显示出更多结构细节
单分子定位显微镜原理介绍
荧光显微镜是一类非常重要而且常用的生物成像显微技术。使用荧光显微镜进行成像前，需要对生物样品中特定的蛋白进行染色标记，然后使用特定波长的光源对荧光分子进行激活发光，再用相机记录激发后的荧光。最常用的普通的宽场荧光显微镜工作时，会将所有的荧光分子同时点亮，受到光学衍射极限的限制，显微镜的分辨率最高只能达到200~250nm，无论如何提高光学系统，都无法突破这个衍射极限。
能够突破光学衍射极限的显微镜，通常称为超分辨率显微镜。常用的超分辨率显微镜技术中，相比STED和SIM两种技术，SMLM（ 或者PALM/STORM）是一种分辨率更高的超分辨率显微镜技术。其基本工作过程分为三步：
首先利用激光使得一部分荧光分子发光并不断闪烁，利用相机记录这种闪烁的图像；
然后使用高斯拟合算法对每一帧图像中的点状光斑进行精确的定位，得到一系列定位点坐标；
最后将所有得到的定位点坐标重新绘制到一张新的空白图像上就，可以得到最终的图像。
图3是一组利用和SMLM同样原理拍摄的真实的埃菲尔铁塔的录像（左），中间是对光斑进行高斯拟合定位后的结果，右边是将所有定位点进行累加的图像。可以看出，经过这个过程，我们可以得到更加清晰的埃菲尔铁塔的影像。
图3. 对闪烁的埃菲尔铁塔进行定位成像（由Ricardo Henriques制作）
相比其他光学显微镜，SMLM可以达到极高的分辨率。但这是以牺牲采集时间为代价，因为每一张高分辨率图像的获得需要长时间记录很多帧的闪烁图像。这使得SMLM速度非常慢，很难被用于高通量图像采集和活体成像。尽管今年来的很多研究都尝试提高SMLM的速度，但是绝大部分都是通过提高激光强度和荧光分子的闪烁速度等方式，使得每一帧图像可以得到更多的定位点来达到提速。这样做的缺点是使得空间分辨率下降，换句话说，是以牺牲空间分辨率为代价来换取时间分辨率的提升。
基于深度学习的加速方法：ANNA-PALM
受到人脑视觉神经可以恢复缺失信息的启发，团队开发出基于深度学习的单分子定位显微镜加速方法ANNA-PALM，使用人工神经网络对短时间内采集的信息进行恢复，使得SMLM成像速度得以大大提高。
图4是对单分子成像过程的仿真过程，原始图像首先经过对闪烁进行高斯拟合（a），找到图像中每一个光斑的准确中心位置并记录下来（b）。使用的原始图像越多，获得的结果越清晰（d）。在仅有少量的，比如1000帧的原始图像重建的结果仅包含少量的信息（c）。
图4(a). 原始图像
图4(b). 定位
图4(c). 重建结果（1000帧，25s）
图4(d). 重建结果（10000帧，250s）
尽管只提供少量的信息，人脑还是能够在信息极度缺失的情况下准确辨识图像中的信息。比如，上图中1000帧的重建结果，其中的英文字母（比如P）大部分可以轻易的辨识出来。而且，尽管图中的Paris和University缺失严重，但如果经过合适的训练，人脑仍然比较容易就能识别出来。这也就是说，人脑经过一定的训练，仅仅通过少量的定位点图像就可以识别图像真实的信息内容。这也意味着，其实我们并不需要采集很多的数据，只需要按照人脑那样处理数据，就可以恢复图像中隐藏信息。
按照这样的思路，结合深度学习领域近期的多项最新研究成果，ANNA-PALM文中提出了一种被称为A-net的神经网络用来实现对数据的恢复。其中最重要的是采用合适的神经网络结构以及如何进行训练，具体技术细节请参考原论文。图5显示的是其中一组结果：
图5. ANNA-PALM对稀疏的定位图像进行处理的结果
ANNA-PALM方法之所以能从少量定位点数据中恢复图像，是因为深度神经网络通过训练数据集学习了生物图像的结构信息。将之前学习到的结构信息与当前实验的少量定位数据结合，就能得到高分辨率图像。
图6展示的是一个使用抗体和Alexa647标记过的人类细胞微管结构，左边是使用300帧原始图像重建后的图像，右边是通过ANNA-PALM处理过之后的图像。
图6. 左，原始图像；右，处理图像
使用宽场图像减少伪迹
事实上，实际实验过程中采集的图像通常包含大量的噪声，使得处理过程充满挑战。图7展示了单分子定位显微镜采集人类细胞微管结构的过程和结果：最左侧图是原始数据，左二图是定位过程，左三图是累积的定位点重建过程。左三重建图像来自数百帧原始图像的定位点数据，已经可以看出大致的微管结构。但是结果明显包含大量的噪声，相比之前的仿真数据，信噪比很低，主要原因在于成像中包含背景噪声或者样品中抗体的非特异性绑定等。最右侧图是最终采集30000帧后的重建结果。
图7. 左一：原始数据；左二三图：定位重建；右侧图：最终结果
如果通过很少的帧来构建图像，ANNA-PALM容易受到噪声的影响出现伪迹（artefacts），这个问题也在论文的评审过程中引起了专家的极大关注。为了降低这种影响，改进版的ANNA-PALM除了少量的定位点数据，还额外使用了低分辨率的宽场（widefield）显微镜数据作为输入。这样做能让ANNA-PALM利用两种数据来进行重建。图8展示了文中的对比实验结果：深度神经网络可以有效融合这两种数据来源，并达到互补的目的。使用widefield图像作为输入，有效降低了可能的伪迹（下图中白色箭头），同时通过定位点图像数据弥补widefield本身在分辨率上的不足（下图中蓝色箭头）。
图8. ANNA-PALM对宽场图像、稀疏的定位图像、以及两者结合进行处理的结果
另外，与之相关联的问题是，如何知道处理后的结果是否可靠，哪些区域不可靠。对此，文中还实现了一种基于Ricardo Henriques等人近期在Nature Methods上提出的错误检测机制，使用宽场显微镜数据来检测重建结果中可能存在的误差。利用这种机制，可以对ANNA-PALM的结果的可靠性进行评估。
总结与讨论
基于深度学习的ANNA-PALM方法通过学习生物结构的特点，使得使用过程中只需要少量的图像信息（宽场或稀疏的超分辨率图像）就可以还原出超分辨率图像。其成功的最主要原因是大部分的生物结构本身重复性较高（比如微管和核孔），结构上的冗余性较大。文中同时提出该方法在使用上必须保证训练样本和实际使用过程中的相似性，如果将已经训练好的模型使用到和训练样本有很大区别的图像上，将会出现不可预料的结果。同时，如果图像的内容比较随机（比如随机分布的病毒颗粒），训练过程中将很难学习到图像的结构信息，也将导致方法的失败。除了这两点限制，ANNA-PALM可以大大的加速单分子定位显微镜的成像过程，该方法有望被用于各种高通量药物筛选和活体成像等领域。
文章第一作者欧阳未是留法在读博士，师从巴斯德成像与建模实验室PI Christophe Zimmer，于2014年底加入该实验室担任工程师职位，随后于2016年参加法国的博士联合培养项目PPU和FdV（ 法国巴斯德研究所的国际博士学位项目PPU和法国交叉学科研究中心的博士学位项目FdV）。该文章展示的成果为作者博士项目的主要工作内容。
BioArt，一心关注生命科学，只为分享更多有种、有趣、有料的信息。关注请长按上方二维码。投稿、合作、转载授权事宜请联系微信ID：fullbellies 或邮箱：sinobioart@bioart.com.cn