全球首个双边植入脑机接口：瘫患者借助脑机接口实现双机械臂共享控制
智能机器人系统和脑机接口（BMI）的进步帮助感觉运动缺陷患者恢复功能和独立性；然而，考虑到通过用户输入协调控制多个肢体的多个自由度（DOF）的技术复杂性，需要双手协调和精细操作的任务仍然没有解决。为了解决这一挑战，本研究实施了一种协作共享控制策略，以操纵和协调两个模块化假肢（MPL）执行双手自食任务。
该研究的试验者 Robert，患有30年的 C5感觉/C6运动脊髓损伤，该损伤在美国脊髓损伤协会损伤量表上被归类为 B（不完全）。Robert在一次事故中的脊髓损伤导致肩膀以下完全瘫痪，保留了肩部和肘部的一些运动，手腕的部分运动（仅伸展），手指的运动很少甚至没有。
研究人员在Robert两个大脑半球的运动和体感皮层中植入了六个 NeuroPort 电极阵列。将两个96通道阵列（10×10 布局，跨越 4×4 mm）放置在主要（左侧）初级运动皮层，两个32通道阵列（在 6×10 布局内，跨越 4×2.5 mm）放置在体感皮层。在非优势（右）半球，一个 96 通道阵列和一个 32 通道阵列分别位于初级运动和体感皮层（图 1B）。
图1. 基于BMI的双臂机械臂共享控制系统框图。（A）通过脑机接口从神经信号解码运动，并映射到两个外部机器人肢体，同时使用协作共享人机团队控制策略来完成需要同时双手操作的自馈任务。（B） NeuroPort电极阵列（Blackrock Neurotech）植入左右脑的运动区和体感区，记录神经活动。（C）神经数据从皮层植入物中传输出来，在被解码之前进行处理。解码后的手势被传递给共享控制策略，根据任务的当前状态映射到机器人的自由度。任务的自主部分由机器人完成，而半自主步骤部分由参与者通过尝试手势控制，利用当前的DOF映射来调节机器人肢体末端执行器的一个子集的自由度。通过BMI控制的自由度是基于机器人访问的任务库。
通过从植入物到三个128通道Neuroport神经信号处理器（Blackrock Neurotech）的有线连接，从植入的微电极阵列记录神经信号。每次实验开始前，将每个电极的电压阈值设置为神经信号静息状态下均方根电压的3.25倍。在30khz下记录植入阵列的神经尖峰，并使用30ms的容器计算每个电极的放电速率。每个通道的峰值活动，特别是放电率的平方根，在每个时间点使用流z分数计算（使用通道特定的平均值和标准偏差）在前60秒进行归一化。在这项研究中，我们的团队利用了基于手势的 2D 控制策略，其中每个方向都映射到一个手势：向上（张开手）、向下（两指捏合）、朝向中线（手腕弯曲）、远离中线（手腕伸展），并且没有运动（手托）。参与者在开始时执行了目标到达训练任务实验中，他们在观察两个虚拟模块化假肢（vMPL）移动到位于垂直和水平轴上的目标时尝试进行基于手势的控制。在 vMPL 开始移动到目标之前，目标位置会显示0.5‑1 秒。vMPL 运动启动由音频提示发出信号，指示参与者开始尝试与运动方向相对应的手势。参与者被指示尝试执行手势，即不抑制手指或手腕的运动。手势被尝试并持续保持，直到 vMPL 达到其目标。手势方向映射在两只手之间进行镜像，并且向参与者展示了每个单手和双手（平行和反平行方向）运动组合的 16 次重复（总共 256 次训练试验）。
使用 10 倍交叉验证确定离线解码精度。每个半球的归一化神经放电率从训练数据中分割出来，并用于训练线性判别分析（LDA） 分类器，以解码对侧手的预期手势，以实现双手运动的同时分类。为了生成神经解码器的训练样本，标准化的神经信号被分成 240 毫秒的窗口，偏移 90 毫秒。对每个窗口进行平均活动，并用相应的尝试手势进行标记，以创建训练样本。
在线解码是通过对传入的神经信号进行分箱并在 240 ms 缓冲区中平均来自每个电极的标准化放电率来实现的。每 30 ms 对神经信号进行一次手势预测，并使用自定义软件界面传输输出，以将控制命令发送到控制MPL 的机器人控制系统。
参与者和双手机械手被视为一个人机团队，目标是使人类能够控制一组最小的关键自由度，以最大限度地提高任务性能，同时最大限度地减少人类工作。对于双手操作，共享控制系统必须操纵两个MPL末端执行器（即拟人机器人的手）以达到预期的任务目标。总共12 DOF, 两个末端执行器3D位置和3D方向（姿态） 需要始终由用户或系统控制。每个MPL使用7个关节（3个在肩部，1个在肘部和3个在手腕）来定位和定向末端执行器，我们使用逆运动学来计算所需末端执行器姿态的关节角。
在这项研究中，人被放置在机器人手臂之间，并在摆着一盘食物的桌子前（图1A）。机器人的手拿着餐具，每只手的手指相对于手腕保持固定。共享控制策略是将12个可控DOF（每只机械手的位置和方向）动态划分为bmiccontrolled和system-controlled DOF（图1C）。将复杂的任务手工划分为任务步骤。在每个任务步骤中，由BMI控制最多4个自由度（即每边最多2个自由度），其余自由度由机器人控制系统控制。在任务执行过程中，机器人口头宣布参与者的两自由度输入（南北或东西向）到末端执行器每只手的六自由度运动（左右、前后、上下、左右偏航、上下俯仰和左右滚转）的主动映射。总体目标是让机器人完成任务的大部分，但允许参与者控制自由度的子集，根据自己的喜好塑造任务表现。例如，在自我喂食的情况下，给定一个盛有各种食物的盘子，我们希望参与者能够选择吃哪一种食物，在哪里切（如果需要），以及吃的一块的大小（图2）
图2.双手动自喂任务流程图。协作共享控制策略使参与者能够控制最小的自由度集，同时仍能最大化任务性能。
在这种协同控制策略中，机器人正在执行一个多步任务的大部分任务（例如切食物和吃食物），但BMI用户在某些任务步骤中控制DOF的子集，机器人必须能够估计何时BMI用户对他们的输入（和当前机器人状态）满意，并完成主动步骤，以便机器人可以进入下一个步骤。对于用户提供输入的任务步骤，机器人会等待用户提供初始的BMI输入（手势），然后等待用户停止提供输入，然后进入下一步。
为了展示双手机械臂的共同控制，一个颓废的甜点被放在两个安装在支架上的MPLs前面的桌子上。参与者被要求使用神经控制来引导机械肢体，以便切下一块糕点并送到他的嘴里（图1A）。吃这种糕点是自愿的，但参与者选择吃是因为它很美味。
借助脑机接口实现自主进食[来源：APL]
在左右两侧分别安装了叉子和刀。参与者使用解码的神经信号命令控制每个MPL的位置和方向自由度的子集，并使用各种DOF模式逐步完成自馈任务，以贡献上述的整体馈任务。图2展示了共享控制自馈电任务流程图。如果参与者能够使用双手神经控制切割糕点，并使用MPLs完成任务的自我喂食部分，试验就被认为是成功的。
神经信号解码
如图3所示，从左手和右手的神经信号中提取的全局离线手势解码准确率分别为63.5和67.6%（概率准确率:20%；这些离线精度与我们的团队在同时进行双手运动时使用类似方法所报告的结果相似。在目标到达任务的在线测试中，参与者在20次试验中成功了17次（85%），这表明神经解码器在自馈任务中控制外部机器人肢体的可用性。
图3.在同时尝试手势时（包括休息），左手和右手的脱机解码性能。对侧神经信号用于解码每只手（即，左侧运动和体感皮层信号用于解码右手动作）。在每只手上，每个运动类别（打开，捏，手腕弯曲，手腕伸展）有48个实例，休息条件下有64个实例。在这些动作中，左手和右手的捏手势解码准确率最高，而手腕伸展明显更难解码（左手和右手分别为45%和34%）。
双手自喂任务
对自馈电协同共享控制策略进行了一次校准和测试。在此之前，通过仿真对机器人的任务行为进行了研究，并对系统参数进行了初步的调整。一旦共享控制系统调整好，参与者就可以执行自我喂食任务，用双手同时下达命令，切下一块大小适中的食物，送到嘴里而不掉下去（图4）。测试阶段包括37次试验，其中大多数涉及到上述参数的校准，因为机器人模拟和物理硬件之间的不一致。最终，七个成功的实验证明，参与者能够用双手同时命令切下一块大小合理的食物，并把它送到自己面前，而不让它掉下来（辅助视频1）。我们注意到，在七次试验中，有一次切下的食物块太大了，一口吃掉是不合理的，而在另一次试验中，切下的食物块要小得多。在七个部分成功的试验中，参与者能够切下食物，但食物从叉子上掉了下来。在37个实验中，共有26个实验参与者在自动进食任务中使用刀叉进行双手控制，剩下的11个实验被停止，因为叉子没有接触食物，所以没有实现双手控制。
图4.选择自喂任务性能截图。机器人右手拿叉，左手拿刀。（A）步骤1:参与者通过移动机器人的右手来启动任务。（B） 步骤3:参与者将叉子水平放置，使其与想吃的食物保持一致。（C）第六步:参与者水平放置刀，选择切割点。（D） 步骤7:参与者将刀向下，叉向后，向右切食物。（E）步骤10:机器人将食物移动到参与者嘴前的默认位置。（F）步骤12:参与者将食物放入口中。
本文提出的共享控制的协作方法旨在探索如何将BMI信号与机器人自主融合，使用户能够执行复杂的双手操作任务，这些任务可以使用有限的BMI信号定制。最终目标是可调节的自主性，利用任何可用的BMI信号，使其发挥最大效力，使人类能够控制少数最直接影响任务质量性能的自由度，而机器人负责其余的工作。一个重要的目标是适应广泛的BMI信号数量和质量，包括高保真连续/比例信号和基于事件/bang-bang信号，如本文报告的基于BMI手势，以及可能随着时间推移而退化的BMI信号。
我们希望实现基于BMI的任务定制。随着机器人技术的不断进步，我们希望利用这些新功能，同时通过BMI保持人类控制和定制。我们目前的协作共享控制方法的局限性在于，它依赖于任务，并假设机器人的一部分具有显著的能力，但它的优点是，它使BMI用户能够以最小的努力个性化任务行为。在当前的研究中，参与者能够使用基于BMI的共享控制器成功地操纵两个MPLs来执行一个双手ADL（图4）。在我们的共享控制策略中，机器人控制器增强了参与者提供的BMI命令，以实现自馈。机器人系统从神经解码器获得输入，神经信号的全局离线解码精度为67.6%（图3）。在线目标达到率达到85%。这是相对较低的解码精度在绝对条款，但被证明足以有意义地定制任务性能。虽然更高的离线解码准确性可能有助于提高双手自馈任务的性能，但在评估BMI系统的功能改进时，强调在线性能指标（如任务完成情况）的价值是很重要的。这些演示强调了在智能系统中使用神经解码器的价值，而不是要求用户直接控制所有动作。
在提取特征训练解码器时，我们使用了多个对应于手势尝试不同阶段的训练样本，包括动作启动、持续动作尝试和动作释放。这种方法允许我们最大限度地增加训练解码器的试验次数，并确保解码器不会过度适应手势执行的任何单一阶段。然而，这也导致训练样本之间的差异更大。尽管如此，分类器仍然能够区分几种手势，准确率在70%到85%之间。
这项工作证明了神经机器人系统在提高用户独立性和功能性方面的重要进展。特别是，这种共享控制方法使用户能够在自馈任务的许多步骤上进行输入，同时减少所需的自由度以有效地完成任务（图2）。与辅助技术中用于减少自由度控制的其他半自主控制方法相比，人机团队的共享控制方法提供了独特的优势，它为用户提供了对单个自由度的额外控制，并允许在任务期间进行调制（即沿不同自由度的相对定位）。在一个复杂的、双手操作的任务中，降低自由度是一个关键的组成部分，可以让广泛的BMI用户受益，对他们来说，高自由度控制信号可能是不可能的。本质上，共享控制策略为各种BMI用户提供了更好的可扩展性。虽然还处于初步阶段，但这些结果标志着，通过为用户提供高自由度双手机器人系统的共享控制，智能辅助BMI在完成必要但有时复杂的日常生活活动（如切割和进食）方面迈出了关键一步。
文章信息：
Shared Control of Bimanual Robotic Limbs With a Brain-Machine Interface for Self-Feeding
仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
更多阅读
加入社群
欢迎加入脑机接口社区交流群，
探讨脑机接口领域话题，实时跟踪脑机接口前沿。
加微信群：
添加微信:RoseBCI【备注：姓名+行业/专业】。
加QQ群：104048131
欢迎来稿
1.欢迎来稿。投稿咨询，请联系微信：RoseBCI
2.加入社区成为兼职创作者，请联系微信：RoseBCI
助力脑机接口发展
点个在看祝你开心一整天!