实现由“类眼”到“类脑”，芯仑科技成功开发高效能神经网络硬件加速器|BV Family

我们所说的机器视觉，是指用机器来代替人眼进行信息收集和决策判断的系统。在其实际操作中，通过机器视觉前端图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

这种极具优势的系统在面世之后就被广泛应用到各个领域。但最近几年，随着自动驾驶等高需求应用的兴起，传统的机器视觉系统就显得“力不从心”。我们执迷于越来越高的算力堆砌，疲于应付随之而来的整体模组（尤其是内存、GPU）成本上涨，系统效能不堪重负等问题，却往往忽视了机器视觉的数据之源——前端摄像头。

为此，BV百度风投投资企业、国内首家动态视觉传感器芯片（Dynamic Vision Sensor ，简称DVS）研究型产业化企业——芯仑光电（CelePixel）提出了从前端传感器端来解决机器视觉图像处理痛点的解决方案。芯仑光电的创始人兼首席科学家、新加坡南洋理工教授陈守顺博士表示：为机器设计的摄像头与传统为人眼设计的摄像头侧重点并不相同，需要为机器视觉打造独特的“眼睛”。芯仑光电通过其革命性的动态图像传感器技术，大规模提高了图像处理系统的使用性能，显著地改善稳定性和功耗、算力、存储的问题，重塑机器视觉之源。

近日，芯仑科技又有了重大业务进展，团队从动态视觉传感器出发，正在实现由“类眼”到“类脑”的延伸，打造类神经元感知与处理一体化平台，刚刚成功开发了一款高效能神经网络硬件加速器，其架构有以下特点：

卷积神经网络加速器设计，主要由处理元件（ProcessingElement Arrays），片上缓冲器，外部存储器和片上/片外互连几个组件组成。其中PE是卷积的基本计算单元。用于处理的所有数据都存储在外部存储器中。由于片上资源限制，数据首先被缓存在片上缓冲区中，然后再馈送给PE。双缓冲区用于通过数据传输时间来覆盖计算时间。片内互连专用于PE和片上缓冲存储器之间的数据通信。如下图所示：

其中，针对PE的优化是FPGA加速器设计的关键，需要克服一系列复杂的难题：首先，为了适应芯片上的一小部分数据，循环平铺是必须的，不正确的平铺可能会降低数据重用的效率和数据处理的并行性；第二，需仔细考虑PE和缓冲库的组织以及它们之间的互连，以便有效地处理片上数据；第三，PE的数据处理吞吐量需与片外存储器的带宽匹配。

通过对PE的优化，芯仑自研架构与全球知名人工智能企业在类似硬件平台的加速结果（据公开发表资料）对比如下：

在关键的TOPS/W的能耗比对照中，芯仑科技自研架构将效率提升了36%。该技术可大幅提升包括车载、安防等应用场景下的端处理能力。

下一阶段，芯仑科技将从基于图片（Event-frames）的加速迈入基于像素级矢量信息输入（片载光流，Optical Flow）的加速，充分运用CeleX传感器仿生类脑的异步数据格式，使计算平台的目标性能和功耗指标再做指数级提升。

芯仑的核心技术发明人陈守顺博士回国之前为新加坡南洋理工教授，系北大本科，中科院硕士，香港科技大博士，并在耶鲁完成博士后。已有超过15年的图像芯片和混合模式集成电路设计开发经验。并且陈博士在中科院求学时是中国第一款通用CPU“龙芯一号”的核心开发组成员。此外公司还有来自博世、豪威、英飞凌、英特尔、联发科、镁光等行业内的技术专家和商业运营人才。芯仑作为一家掌握芯片设计核心技术和具有平台化应用前景的团队，立足国内展望全球，未来可期。

延伸阅读：

关于BV

BV是由百度发起、专业团队管理的独立风险投资机构，其出资人包括百度和其他优秀的产业、金融机构。BV目前管理着5亿美元规模的三支美元和人民币基金，在北京和旧金山同步运营，致力于成为AI时代的世界一流VC。

BV在用投资打造一个更高效的智能世界：更细颗粒度的感知、更精准的决策、更少的人力成本、更好的效率模型。我们已投资了100多家AI公司——从芯片到传感器，从人体数据采集到天基观测网，从智能工业到智能城市，我们投资AI背后的底层技术，也投资AI驱动的各种行业变革。