适配AR/VR，仅60g重的实时脑机设备NextMind来袭

Esther｜ 编辑

在刚结束的CES 2020上，NextMind展示了一款基于EEG的穿戴式实时脑机接口设备（目前为开发者版）。目前，该套件特点是非入侵设计，信号实时处理，仅60g重，支持多数AR/VR设备，穿戴简便，开发者版售价仅399美元。

NextMind设备需要放在大脑后侧读取EEG数据，然后基于深度学习技术进行解析。而被Facebook收购的CTRL-labs则专注于通过肌肉电信号EMG结合机器学习来实现非入侵脑意识操控。

显然，NextMind方案更符合“传统意义上脑机接口”概念，一方面是因为它的使用方式是直接戴在后脑勺上，另一方面也因为其更靠近人脑，原理是通过实时读取和分析脑视觉皮层信号来实现用意念控制电子设备的效果，使用更方便。

同时，与眼球追踪和输入方案相比，NextMind脑机接口通过视觉皮层能够识别到更丰富的信息，因此更能识别到真实意图，应用场景更多，包括：控制电视界面（换频道、播放、暂停、静音）、玩游戏、输入、改变台灯颜色等，用于VR的时候，只需要别在头显后侧绑带上。

解析NextMind脑机接口

NextMind创始人兼CEO Sid Kouider在2017年正式成立该公司，公司目前共有15名员工，包括软件、机器学习、硬件和游戏开发人员。

在此之前，Sid Kouider是一名从事认知神经科学研究的教授，曾经在《科学》、《自然》期刊上发表过关于视觉意识和大脑的文献。据悉，他的研究重点主要放在患有交流障的人群，并且得到了许多发现，比如小婴儿能够感知到身边的事物，而且人们在睡觉的时候也能通过声音内容来学习为了进一步了解和探索等。

后来他们开始尝试用非侵入式方案破解神经信号，在积累一定经验后决定开发一款能够实时分析神经信号的产品。

Kouider解释道，在实验室中分析神经信号的时间比较长，先是做实验，然后再进行分析，因此NextMind脑机接口的目标是，能够实时且同步地识别和破解视觉皮层信号，实现人脑和任何机器之间的交互，并成为一种大众化的技术。

目前，其开发的脑机接口约60g重，通过上面搭载的8个电极来测量脑部活动，未来还将进一步缩小体积、减少电极来提升舒适性。Kouider透露，电极是测量脑部活动的关键，其采用了NextMind独有的材料（经历多次迭代开发而成的某种神秘材料），让电极可以为机器学习算法捕捉到更多数据。

谈及开发这种新材料的原因，Kouider表示：为了解决机器学习算法的难题，我们不得不研发新材料来提高灵敏度。这种材料基于脑电图传感方式，但与临床脑电图相比，前者的信噪比提高了约4倍，而且不用凝胶。

NextMind的每个电极搭载了一个微芯片，能够直接处理电极捕捉到的信息。此外，为了保证最佳信号，电极采用了类似于梳子的形状，能够穿过发丝到达头皮。有趣的是，Kouider在成立NextMind后就把自己剃成了光头。

比眼球追踪更有趣的交互方式

据了解，目前NextMind脑机接口可以将你的注意力转化为计算机和AR/VR头显的输入指令。也就是说，你现在使用NextMind的时候，需要主动去注视目标，才能刺激视觉皮层的特定反馈。据悉这种神经反应在脑电图中会以一种独特的波动的形式显现。此外视觉皮质不只是接收眼球的信息，也会放大神经元的刺激，以识别你的意图。

https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=j3050lo4ygk

当你将注意力放在不同的位置上时，就会产生注意力信号，而NextMind并不会破解注意力本身，而是注意力输出的结果。当你在一个目标上投入更多注意力的时候，输出的注意力信息将得到放大，NextMind就可以识别并分析出你要做什么。相当于你的大脑和物体形成了一种同步性，你注意力越集中，目标产生的共鸣就越大，机器学习算法的决定也更确定。

因此本质上来讲，NextMind并不是眼球追踪系统，因为眼球追踪无法识别意图。打个比方，当一个人举玻璃杯挡在面前，另一个人看向他，但第一个人并不能确定第二个人是在看杯子还是看他，而NextMind却可以分辨。

目前，NextMind无法进行闭眼状态的数据读取分析，未来，NextMind目标是闭眼也能识别视觉意图，甚至视觉想象力，实现人脑与机器之间更快速、自然的交互。这些功能将会在一个设备中集成。

Kouider表示：我们发现视觉皮层不仅包含从外接识别到的信息，也包含你输出的记忆、想象、梦境信息。也就是说，视觉皮层中的神经元不仅具备视觉感知能力，也能处理来自外接的信息。

他还补充，而视觉注意力，则存在于信息接收和想象力输出之间，它通常以由上自下的规律移动，也受到前额皮质等大脑神经元部位控制，这也是NextMind正在着手破解的。

应用场景体验

在使用NextMind之前，需要先将它与笔记本等电子设备配对连接，接着系紧绑带，以获取高质量的信号。然后就是，校准和培训演示，以及创建你的神经档案模型。在校准过程中，你需要保持静止，并将注意力放在三条逐渐靠近将形成三角形的绿线，它们可能在屏幕中不同的位置汇合。在短短几分钟内，NextMind就已经识别到1到10MB的数据（代表你的神经档案）。

Kouider介绍到，理论上讲你一戴上就能用，但就像是第一次用鼠标一样，还是需要在尝试中逐渐熟悉了解。外媒VentureBeat有幸对这款产品进行了体验，并将其用于多种场景：

1）控制电视

目前，你可以通过NextMind实现更换电视频道、暂停播放、静音等动作，不过要依赖与电视上的界面，相当于你在用注意力控制电视上的输入光标（绿色三角形）。

2）玩游戏①

在这个demo中，体验者需要用摇杆去控制一个小方形在平台上跳跃，同时可以通过注意力去攻击敌人或者推动物体（用注意力移动绿色三角形来实现）。

3）输入密码

体验者通过注意力在电脑屏幕上输入4位数字密码，以此来解锁屏幕。不过一个一个选择数字是一个漫长的过程，不过随着日后算法日益提升，速度逐渐提高。

4）玩游戏②

第四个demo是经典游戏《打鸭子》的改编版，体验者表示用注意力开枪比手柄更容易，即使是用余光来看鸭子也没问题，只要视觉皮层识别到鸭子，理论上NextMind就能够识别。

后来体验者摘下了自己的眼镜，由于看不清绿色三角是否对准鸭子，识别的准确率有些下降。这是因为你的大脑只接收到一个大概的信号，于是NextMind无法确认你将注意力放在正确的目标上。

5）控制台灯颜色

体验者表示：控制台灯颜色是最有趣的应用之一，需要通过将注意力集中在电脑上的不同色块来控制。未来，开发者可以将物理的着色器安装在台灯上，这样NextMind用户就能直接控制台灯颜色，不需要连接电脑了，或者有一天甚至可以通过在头脑中想象来实现控制。

https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=f3051b5kvtv

当然色盲患者也不用担心，不同的色块上具备不同的图案，方便区分。Kouider解释，这是因为视觉皮层包含多种信息，包括形状、方向、边界、颜色和运动等，在不久的将来，NextMind甚至有望破解脑皮层对形状的理解，到时候就不需要色彩，甚至几乎不需要用图案来辨别。

6）VR

用于VR头显时，不需要使用绑带，直接将脑机接口卡在头显绑带背面就可以。此外在VR demo之前，还需要接受一段训练和校准，在这过程中你需要将注意力集中在外星人头上，炸毁它们。

除了攻击外星人之外，体验者还尝试用注意力爆破木桶。由于在逐渐熟悉的过程中会发生某种形式的迁移学习，即使木桶形状和外星人不同，NextMind也能有效识别。

Kouider指出，由于VR的分辨率还不够高，因此为了提高视觉注意力识别的准确性，demo中的目标必须体积更大。此外，在VR中不再使用绿色三角形光标，而是利用色彩等的改变来为大脑提供新的信息，促进神经反馈。他还表示：NextMind并不是独立于VR的设备，可以把它看做是VR或AR交互的另一种形式。

这种搭配的效果足够好，以至于在CES 2020上斩获两个奖项，包括：VR/AR领域最佳创新奖和穿戴技术荣誉奖。不出意外，现场体验感也足够好，不完美但有效。接下来随着硬件、软件和机器学习算法的提升，效果有望进一步提升。

对此，Kouider表示：在提升机器学习算法的速度和效率，以及简化使用流程上投入了大量时间和精力，但现在最主要的困难在于硬件，就像是没办法使用MRI一样，虽然识别效果更好，但是时间分辨率不够高。解决这一问题的办法之一，就是继续积累足够的机器学习数据。

潜在应用场景

总之，从NextMind展示的demo来看，它是有效的，尽管还不够完善。不过，目前用它来进行输入的速度还无法超越双手或者其他常见输入设备，于是找到一个有效的杀手级应用场景是关键。

因此，NextMind推出了开发套件，一方面是为了获取更多用于训练机器学习算法的数据，另一方面是通过开发者来寻找和尝试新的应用场景。

目前，NextMind已经与开发者、投资者、潜在合作伙伴进行了探讨，比如汽车厂商预计可以将脑机接口的电极集成在车座上，这样司机坐在座位上就可以控制汽车了，无需再用手控制方向盘。

此外，也可以集成在AR眼镜中，搭配手势识别、眼球追踪等技术一起使用。

另外一种潜在的应用场景是神经检测，比如验证飞行员是否在5秒内注意到错误警报，如果没有便通知警报变的更显眼。对此，Kouider表示：不过目前，更重要的是优化脑机接口的控制功能，而不是检测，因为需要尽可能提高算法的速度。

Kouider补充，NextMind最主要的成就是实现实时的脑机交互，我认为在3、4年后，它还能识别你闭眼在脑海中思考的东西。理论上讲是可行的，只是需要解决信号和速度的问题。

参考：

https://www.next-mind.com/

https://venturebeat.com/2020/01/05/nextmind-is-building-a-real-time-brain-computer-interface-unveils-dev-kit-for-399/

（END）

    推荐阅读    

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网