集成光子芯片的脑机接口可行性分析

Original 社区创作者脑机接口社区 2023-02-08

BCI是基于计算机的系统，可以在活体大脑和外部机器之间进行单向或双向通信。BCI读取大脑信号并将其转换为由机器执行的任务命令。在闭环中，机器可以用适当的信号刺激大脑。

近年来，已经表明在光谱的可见光和近红外部分内或附近有一些神经元发出的超弱光。这种超弱光子发射（UPE）反映了细胞（和身体）的氧化状态，并且令人信服的证据开始出现，表明UPE 很可能在神经元功能中发挥信息作用。

事实上，一些实验表明UPE 强度与神经活动、氧化反应、EEG活动、脑血流量、脑能量代谢和谷氨酸释放之间存在直接相关性。因此，我们提出了一种使用UPE的新型颅骨植入BCl，讨论了有争议的部分、技术的可行性和局限性，以及如果未来成功实施这项设想的技术的潜在影响。

1 传统的脑机接口技术

脑电图（EEG）信号

脑电图是通过将小电极附着在头皮上来检测脑电活动的最常用方法。这些信号由一台机器记录下来，用于追踪正常的大脑功能和诊断病理状况（例如，癫痫）。在刺激（例如，视觉提示）诱发的脑电图中，电压呈正偏转，潜伏期（刺激和反应之间的延迟）约为250-500毫秒，称为事件相关电位（ERP）。这种ERP的例子是所谓的在300ms时形成的P300，它与决策有关。事实上，认知障碍通常与P300的修改相关。它被认为是一种内生潜力，因为它的发生与刺激的物理属性无关，而是与人对它的反应有关。更具体地说，P300被认为反映了刺激评估或分类所涉及的过程。

脑磁图（MEG）信号

MEG是一种功能性神经成像技术，通过大脑中的电流磁场监测大脑活动，使用SQUID（超导量子干涉设备），这是在低温环境中运行的非常灵敏的磁力计。另一种磁力计是无自旋交换弛豫（SERF）磁力计，它可以增加MEG扫描仪的便携性，同时其灵敏度与SQUID相当。典型的SERF 磁力计相对较小，不需要庞大的冷却系统即可运行。已经证明MEG可以与一种SERF一起工作，即芯片级原子磁力计（CSAM），它的开发可以有效地用于BCI。基本上，MEG可以提供比EEG具有更高时空分辨率的信号，因此对于提高BCI通信速度很有用。

皮层电图（ECoG）信号

ECoG使用直接放置在大脑表面的电极来记录大脑皮层的电活动，即一种侵入性技术，它涉及移除部分颅骨以暴露大脑表面，从而能够植入大脑皮层。大脑表面上的电极网格，即开颅术，如果需要患者交互以进行功能性皮质映射，则它是在全身麻醉或局部麻醉下进行的外科手术。由于更接近神经活动，所得信号的空间和时间分辨率更高，信噪比（SNR）优于EEG。因此，ECoG是一种用于BCI的有前途的记录技术，特别是用于解码想象的语音或音乐，其中用户只需想象BCI可以直接解释的单词、句子或音乐。

功能性近红外光谱（fNIRS）信号

fNIRS是一种非侵入性光学成像技术，通过大脑中血红蛋白（Hb）在近红外（NIR）范围内的特征吸收光谱来测量大脑中Hb浓度的变化。fNIRS断层扫描利用了光可以穿透几厘米进入生物组织的事实，即一种安全的技术，它是一种微创技术，它依赖于小型、相对便宜且易于操作的技术，并提供相对较低的空间分辨率。光在组织中的穿透范围限制了目标组织体积的大小。fNIRS可用于BCI以恢复运动障碍者的运动能力。出于安全目的，fNIRS无法承受高错误率，并且必须足够快以提供实时控制。

2 UPE 在 BCI 中的潜在应用

UPE在很大程度上是由细胞代谢介导的，目前认为它只是一种副产品(即附生现象)。部分研究人员假设UPE可能被神经系统用作一种额外的信号，使细胞与细胞之间的通信和耦合。研究发现UPE可以沿着神经纤维传导。根据数值模拟假设，神经元(或有髓鞘的轴突)可能充当光纤，因此可能传导与UPE相关的光，通过这些波导，UPE甚至可能介导大脑中的远程量子纠缠。这些观察结果表明，UPE和生物电子活动在神经系统中并非独立的生物现象，它们的协同作用可能在神经(量子)信号和信息过程中发挥相当大的作用。

来自人脑表面的UPE强度

迄今为止观测到的UPE非常弱。然而，神经元内真正的UPE强度可能比在离大脑不远的地方测量到的UPE预期的要高得多。由于光子在细胞或神经系统中被强烈散射和吸收，生物体或大脑中相应的UPE强度甚至可以高出两个数量级。此外，由于信噪比的限制，检测器的量子效率(QE)可能会阻碍UPE的检测。关于人类大脑，在死后的人类大脑中，视觉皮层V1的神经元密度为60 106个神经元/cm3，一个半球的人类视觉神经元每秒产生106×106 = 1012个自由基。由于UPE主要来源于自由基，因此预计神经元细胞内的UPE实际强度将大大高于外部检测器测量的强度。如果一个理想的光电探测器的QE接近100%，我们推测它可以测量皮质表面至少1000计数/(sec.cm2)的UPE强度，以实现一个物体的可视化。

3 颅骨植入UPE-BCT

本研究提供了一种全新的颅骨植入物的完整设计规范，该植入物可以促进基于UPE的BCI系统(见图1)。设想中的BCI不是针对脑深部植入物，而是针对颅内脑表面植入物(即微创性)。闭合颅骨(手术植入后)的环境足够暗，适合检测UPE信号。一旦UPE信号被检测到，它们就会被无线传输到设备上。用闭环信号(光子)来调制神经组织的代谢过程的替代设计。只考虑UPE信号的读出。设想中的技术的核心是基于UPE的集成芯片，将在后续中详细讨论。

UPE光子首先进入芯片上的光接收平面（ROP），这实际上是一个由大小为N×N的光纤组成的光接收机阵列，其中N是每一行或每列的像素(或光纤)的数量，每个像素实际上是一根光纤，使用光栅耦合器耦合到芯片上的波导。另外，UPE光可以直接耦合到由飞秒激光写入产生的波导，可以在芯片的不同深度进行图形化，直接促进序列化步骤。随后，将N×N图像序列化为一个1D向量。假设UPE强度范围为每平方厘米每秒10 -1000次，当然也取决于一个神经元或神经组织在给定时刻的活跃程度。事实上，我们预计相似和不相似的UPE发射(在波长上)会产生不同的检测分布，在这些分布中，波长相似的光子(即，来自相同类型的神经过程)之间会发生干扰。

这种复杂性可能会给直接探测带来缺点(即没有干涉仪)，甚至可能导致错误的解释。这个潜在的问题可以通过对这些不同波长的模式进行分类来缓解，同样使用机器学习中的模式识别技术，例如PCA，它允许区分模式集合中的差异，并根据各自的波长识别每个模式，在许多组训练数据之后。然后光学干涉仪的光子通过CMOS阵列转换为电信号(详见图6)。最后，这些信号被无线连接到智能手机或计算机，进行模式识别/提取。

图1.探测器芯片可以安装在颅骨内表面而不接触脑组织（非侵入性）。由于头部封闭颅骨的环境足够黑暗，适合安装芯片进行UPE的检测。靠近大脑表面的UPE强度更强，可以通过颅骨上的芯片捕捉到。

片上光子集成电路

本研究提出的技术基于光子集成电路(PICs)。这是一种包含光(光子)的光子组件的芯片，光子通过光学组件，如波导(相当于一个电阻或电子芯片中的电线)。随着电子集成电路的集成能力达到极限，可以实现长相干时间、全连接、可扩展性和在室温下操作等优点，使得PICs有可能成为首选技术。对于我们的应用，我们考虑包含光学干涉仪的PIC。线性干涉仪可以通过硅上硅或激光书写的集成干涉仪，或电气和光学接口的光学芯片制造。

光子统计与分布

在光学中，相干性是光的一种特性。相干是光进行干涉的能力，例如在双缝干涉实验中，光可以为波导和粒子图创造干涉图案(明纹和暗纹)。光的强度/光子数分布是泊松分布：

其中<n>是在时间t和时间t + t之间测量的光子的平均数量。泊松分布的方差等于其平均值。这是显示光的相干性的必要条件之一。然而，这个条件还不足以得出光肯定是相干的结论。其他类型的源也可能产生泊松分布，如弹噪声和暗噪声。在接下来的段落中，我们将介绍几个光子数分布，以演示这种测量方法如何洞察UPE光发射的本质。

M模热源的光计数统计可以用这个表达式来近似:

其中<n>是光子的平均数量，M是场模的数量。这些状态的一个重要特征是方差和均值<(Δn)2> = <n>+ <n>2/M之间的关系。对于混沌源，系数M通常非常大。因此方差和均值之间的关系接近于相干态的关系，即对于较大的M, Pn(t, t, M)接近于泊松分布(见图3)。对于UPE，重要的是要知道光计数统计是否能够区分相干发射和热发射，因为当模数M较大时，光计数统计不能区分具有许多模式的相干态和热态，热光的光计数统计与相干态的光计数统计相等。

另一种发射类型是超辐射，它是几个光源的相干发射，其主要特征是发射的光强度可以随光源数量的平方变化，因为它们可以发射相位相同。超辐射发射的光计数统计为亚泊松，超辐射系统的光子态通常不是相干态。

图3.(A)四种不同光子计数平均值的泊松分布。(B)平均光子数为10的不同热模数的热场光数分布演示。(C)对于大量模态M，热场光计数分布(具有相似<n>)接近泊松分布。

干涉光子探测

收集到芯片上的光子将通过具有多个干涉路径和其他组件的PIC传播。PIC对入射光子的影响模型旨在预测光子在线性干涉仪中传播和干涉后探测器上的概率分布。实验装置只需要光电探测器和线性光学元件，即分束器和移相器。假设芯片注入UPE单光子（如图4）的输入态，|Si>= |s1, s2，…， sNi>，其中sk为UPE以第k模式发射并注入芯片的光子数。芯片的输出状态可以写成|Oi>= |x1, x2，…， xNi>。假设芯片上有四个输出。因此，对于N = 1个输入光子，在电路中没有损耗的情况下，输出检测的概率为P|1000>, P|0100>, P|0010>, P|0001>;对于N = 2个输入光子，输出检测的概率为P|1001>, P|1010>, P|1100>, P|0110>, P|0011>,P|0101>, P|2000>, P|0200>, P |0020>, P |0002>。现在，我们考虑N个输出的一般情况。提出了一种通过卷积神经网络(CNNs)的模式识别方法进行信号处理和信号解释，以有效地解释光子干涉仪芯片上的输出信号。在大脑正常和活跃的状态下，光子芯片可以持续产生数据。这种模式可以通过研究数据和区分正常和活动状态的信号来识别。在这种状态下，软件上既可以进行监督学习，也可以进行无监督学习。这是该方法的一个优点。

图4.有N个输入输出的|片上光学干涉仪输出模式可以通过机器学习技术进行特征提取处理。人们预计，对于每一个认知任务或决策，在针对特定任务进行多次训练后，会形成类似的模式(平均)。平均模式的特征可以通过深度学习方法识别。

在BCI应用中使用UPE信号的想法仍然停留在猜想的水平上，仅仅依靠UPE显示出与一些大脑活动的相关性这一事实。因此，从BCI的角度来看，这种相关性非常重要，因为几乎所有用于BCI应用的脑信号都很难直接从信号中提取特定的信息。在此，我们建议使用一种机器学习算法（PCA算法）来区分变异，并通过增强训练数据提取特征，可以在重叠的图案中找到不同图案之间的差异，并在经过多组训练数据后对相关波长的每个图案进行分类。

实施的可行性

现在讨论制造我们设想的基于upe的颅骨植入物BCI的可行性(见图5)：光学干涉仪的存在是为了区分UPE波长，因为相似光子(在波长上)的干涉会与非相似光子产生不同的图案。这种干涉仪的优点之一是在相似的波长上有一个简单的光谱。然而，波长的集合可能在同一时间产生不同的模式，并掩盖干扰模式，这可能不具有直接检测的优势，但可以用模式识别技术对这些集合模式进行分类，例如PCA，它可以在重叠模式中找到不同模式之间的差异，并在许多组训练数据后对相关波长的每个模式进行分类。采用CMOS阵列直接检测和光学干涉仪间接检测两种方法均可用于UPE数据采集。

芯片成分

PIC的设计和制造是一项成熟的技术。可用的光刻机平台包括硅光子学[绝缘体上的硅(220 nm和3 μm SOI)，硅基硅上的硅(SiO2，也被称为PLC)，和氮化硅(SiN和TriPleX)]， III-V光子学如磷化铟(InP)，砷化镓(GaAs)和衍生物，最后铌酸锂(LiNbO3)和其他更奇异的材料。应该指出的是，SIO平台在可见光谱中不是UPE的合适候选人，因为硅的带隙相对较小，使得它在1000 nm左右的波长下完全不透明。另一方面，SiN在可见波长范围内是透明的，并与CMOS技术兼容，似乎是我们提出的BCI的PIC平台的有力候选。作为基于光刻技术的PIC的替代方案，在SiO2(玻璃)中的飞秒激光写入波导(FLWs)近年来已被用于成功实现先进的PIC。集成材料的选择将决定技术平台的功能和限制，使其中一些比其他更适合某些应用程序。因此，这是一个关键的选择，需要仔细评估。

图5.安装在计算机、机器或智能手机上的软件上，通过卷积神经网络(CNN)对互补金属氧化物半导体(CMOS)阵列组成的芯片检测到的超弱光子发射(UPE)进行特征提取和模式识别;(上)不使用光学干涉仪直接检测UPE，(下)经过干涉仪检测UPE。

PIC中的噪声和损耗

PIC的设计、测试和包装：包括器件级(光学、热和材料模拟)、电路级(测试性能的虚拟实验室)、系统级(连接到CMOS阵列的PIC)布局级(生成设计意图)、验证、每个工艺步骤的模拟、制造和最后的封装。此外，还应设计软件对检测到的信号进行处理。在这里，我们想估计在PIC的光学部分的噪声大小。光学部分由接收光平面(ROP)、光纤(OF)和光干涉仪(OI)组成。

图6. 集成光子电路的输出门由互补金属氧化物半导体(CMOS)光传感器阵列组成，将光纤阵列连接到集成光子电路上可以构建典型的片上超弱光子发射(UPE)探测器。

光接收平面的噪声和损耗

黑体辐射在人体温度下的可见波长范围内并不是一个显著的光子源。在该BCI中，光子直接耦合到ROP的纤维，该纤维与皮层非常接近(近似接触)，从而导致最小的耦合损失。在噪声方面，弹噪声（量子噪声或光子噪声）是ROP中最主要的。它描述了由于光子的出现而产生的相互独立的光子数的波动。光学探测被认为是光子噪声的限制，因为只有镜头噪声仍然存在。与其他形式的光脉冲噪声一样，光电流中由于光脉冲噪声引起的波动是平均强度的平方根。

光纤损耗

当光子穿过光纤的核心时，光子的强度会降低。光纤中的损耗主要有两种，一种是固有纤芯衰减(主要是由于光的吸收和散射)，另一种是固有纤芯衰减(主要是由于光纤和芯片之间的弯曲损耗以及拼接(或耦合)损耗)。考虑到纤维的长度是厘米尺度，前者将是微不足道的。然而，弯曲和拼接/耦合损失可能是显著的，这取决于将光纤绑定到光子芯片的过程。利用标准硅光子学技术制备的硅光栅(在该波长吸收13000 dB/cm)，可以对波长范围为550 ~ 650 nm的可见光进行导光，损耗降至6 dB/cm。

图7.光学干涉仪中各种马赫-曾德尔干涉仪(MZI)调制器单元示意图波导和调制器中不期望的光衰减取决于芯片平台的材料以及调制器的尺寸和结构，这决定了弯曲和散射损失。

光学干涉仪中的噪声和损耗

光子芯片上的光学干涉仪的主要元件是耦合器和光调制器，如图7所示。片上光学干涉仪的损耗是由光纤到芯片输入端口的非统一耦合以及通过片上图型波导的衰减引起的。通过先进的耦合方法，耦合损失可以显著小于1 dB。而波导的传输损耗是由芯片平台给出的。根据波长的不同，这种损耗会有很大的变化，特别是在300~700 nm的波长范围内，如下表所示。

CMOS传感器阵列中的噪声和损耗

信号的波动会产生噪声，造成检测的不确定性。本质上，信噪比(SNR)是模式信号与总噪声的比率。当信噪比较大时，更容易区分图案和噪声，从而提高测量的置信度。CMOS(互补金属氧化物半导体)主要噪声源是光(光子)噪声(即SN)、暗噪声(即DN)和读噪声(即RN)。镜头噪声是由于光的物理性质引起的，与传感器无关。暗噪声随温度的变化而增大，其大小与暗电流成正比。读噪声包括随机电报噪声(RTN)， RTN是非高斯的，依赖于多列和像素放大器。RTN是CMOS噪声中最重要的组成部分。CMOS的信噪比：

其中S为Signal=Photon flux×time ×QE。科学CMOS (sCMOS)传感器是一种具有发展空间的新技术，与EMCCD和CCD相比，它可以实现更高的速度和更大的像素阵列，并具有与传统CCD相似的噪声性能。

量子效率QE

QE定义为，QE =将光子转换为电子数量/总入射光子数量，是对光敏感度的一种度量，与响应度密切相关。由于光子的能量与其波长成反比，QE通常在不同波长范围内测量，以表征每个光子能级的探测器效率。光电探测器矩阵由COMS兼容光电二极管以及相关的读出和传感器选择电路组成。光电二极管的光谱测量显示，在650 nm处QE优于60%，在500 ~ 850 nm处QE优于40%。

在颅骨植入的PIC芯片中，少量的光子也足以将CMOS像素的激活。在硅中，一个波长在300到1100纳米之间的单光子只能产生一个电子空穴对。因此，对于可见光和近红外光，单光子探测任务就变成了单电子(或空穴)探测任务。对于可靠地检测单个电子来说，读出噪声通常过高。室温应用的另一个困难是热暗电流，因为它们与光产生的信号难以区分。

芯片电源和无线控制

为了拥有能够持续监测大脑信号的动态芯片，这种芯片需要长寿命电池。电池的尺寸和寿命是生物医学植入芯片设计的主要挑战之一。目前，植入式电池为植入式生物医学设备提供能量。但是，电池具有能量密度固定、寿命有限、化学副作用大、体积大等特点。因此，研究人员已经开发了几种方法来为植入式设备收集能量。由收集的能量供电的设备比传统设备寿命更长，提供更多的舒适和安全。

解决无线传感器能源问题的一种方法是从周围环境中获取能源。可能被清除的能量包括红外辐射能、无线传输能和射频辐射能(电感和电容耦合)。最近，一种可以无线供电的芯片被开发出来，它可以通过手术植入来读取神经信号，并通过光和电流刺激大脑。这项技术已经在老鼠身上成功地证明了，并被设计为一种研究工具。该芯片能够进行16-ch神经记录、8-ch电刺激和16-ch光刺激，所有这些都集成在一个用0.35 m标准CMOS工艺制作的5 ×3 mm2芯片上。

芯片的生物相容性

大脑植入物可能会产生副作用：例如可能会急性和慢性地与脑组织相互作用，可能导致血脑屏障(BBB)破裂、血管损伤、微动、扩散等。本研究提出的光子芯片的优点是，与侵入性植入物(如ECoG)相比，它是微创的（不需要穿透脑组织）。功能性神经组织存活、芯片接触到靶点的距离和长期稳定性是需要考虑的基本参数。

光子芯片安装在颅骨内表面，不能直接植入脑组织。然而，由于大脑的机械或体积变化，仍有可能与脑膜(即保护大脑和脊柱的分层膜)密切接触。在这种情况下，我们设想采用硅酮芯片，但我们也期望生物相容性的研究将提供替代和先进的材料。然而，由于光子芯片可以植入脑膜和颅骨之间，人们担心脑膜的存在会限制光的穿透，降低对大脑UPE的检测。研究表明，脑膜在近红外范围内几乎是透明的。因此，基于光子芯片在近红外范围内的高效率，脑膜的存在降低了UPE的强度，但并不会导致显著的限制。

此外，由于人体的水溶性和生物化学侵略性，大脑植入物的寿命在很大程度上取决于包装。对于本研究提出的光子芯片，在潮湿的生物组织中没有电极，也不与电极接触，而且脑膜和头骨之间的环境不是水，因此光子芯片漏水的可能性很小。如果由于某些撞击或事故造成脑膜层损伤，那么就可能会发生水渗漏，因此应根据所使用的材料对光子芯片进行封装研究。

4 结论与讨论

本研究提出了一种基于大脑UPE的脑电接口、描述了基于集成光子电路制造它的可行性，易于在实验室中实现。设想中的BCI芯片可以植入颅骨内表面，实时监测来自皮层表面的UPE信号。该芯片不仅可用于BCI技术，还可作为微光成像、光谱和敏感测量的光子传感器，应用于从生物UPE到量子光学处理等多个应用领域。

虽然本研究提出的技术是在猜想的水平上，需要全面的测试和调查来验证，但该技术的内在优势：与ECoG相比，它是微创的；在ECoG中，随着时间的推移，某些副作用可能会影响数据获取的质量。如果该光子芯片技术达到了令人满意的检测性能，预计它可以具有一些其他的优势。例如可以提供有关大脑功能的额外信息，如近似实时成像，并为研究代谢变化、ROS产生的变化、延迟发光打开大门，但也可以开展对象可视化研究、睡眠研究和神经退行性疾病的新和补充研究等。

光子芯片技术与当前BCI方法相比的优势和局限性：

1、 PICs具有小型化、更高的速度、低热效应、大集成容量等优点，并与现有的加工流程兼容，从而实现高产量、批量制造和更低的价格。

2、在UPE探测的情况下，不需要片上单光子源，这是PIC中量子计算和通信最困难的挑战之一。在该芯片中，单个光子是通过神经元的新陈代谢自然产生的，因此植入PIC的能量消耗需要较低的电池功耗。

3、光子不相互作用，串扰最小。用于光学干涉测量的PIC对于波长通常在近红外范围（800-1650 nm）是有效的。

4、在室温下，除了暗电流外，CMOS阵列上的单光子探测具有较低的量化宽松，这可能会损失相当多的UPE。另外CMOS的输出是电子，存在电子串扰。事实上，CMOS的QE约为75%，比QE约为25%的光倍增管PMT高出约三倍。PMT在室温下探测UPE光子的信噪比约为1 2，因此需要冷却系统对PMT传感器进行冷却，使其信噪比达到3以上。显然，PIC芯片上没有冷却系统，但在这种情况下，CMOS传感器的QE可以弥补冷却系统的不足。

总之，本文对UPE模式与决策的相关性以及UPE信号的特征提取提出了主要猜想，这些猜想有待实验验证。然而，尽管在芯片制造和效率方面存在一些可能的局限性，但它可能用于无线BCI信号采集，与传统同行相比，具有速度、尺寸、微创、廉价、可扩展性等优点。这可能是向实时脑成像和生物信息处理迈出的潜在一步。

参考文献：

仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！

更多阅读

一种针对有训练运动想象BCI赛题的解决方案

“大脑绘画”可以帮助多动症患者吗？

脑机接口中的流形嵌入知识迁移学习