2019 年 7 月 30 日,IT 桔子邀请触景无限产品负责人付铭明为人工智能社群,带来「分布式与边缘计算在智能物联网中的应用」的主题分享。 触景无限是领先的嵌入式人工智能感知平台开发者,致力于前端感知核心技术的创新与突破,构建嵌入式人工智能行业解决方案,将视觉等感知智能赋予机器万物,助推人工智能的大规模产业化与新生态建设。
根据 IT 桔子数据,触景无限成立以来拿到过 3 轮融资,投资方包括 Pre-Angel、启迪创投、清控银杏创投、正和岛创投等。
智能物联网简而言之就是万物互联,智能物联网的核心在于感知——感知就是用各种各样的传感器去感受我们周围的环境、社会,进而获得环境相关信息。
感知无疑是分布式的,它包括视觉、语音等等各种各样的信息。感知世界里离不开传感器,包括陀螺仪、超声波、摄像头等等,其所获取的信息中视觉信息是最丰富的。
从多传感器融合到机器视觉再到深度学习分析是一个信息获取的过程。随着深度学习的发展,在机器学习领域,如何在前端处理多传感器的信息是众多应用场景面临的问题。
在感知的世界里获取的海量信息,如何将这些信息和数据在本地进行分析和提炼?像人类的眼睛一样,看到的同时就获取了有用的信息,是智能物联网里需要解决的更深层次的问题。
将多传感器融合、机器视觉、深度学习提取信息的过程落地应用于安防、无人机、机器人等实际场景是诸多智能物联网公司寻求的突破点。
首先是基础层;
其次为算法层,进行信息提取;
再上层即应用层,即如何运用算法落地实际应用场景。
在基础层,首先需要一些传感器去进行信息获取。其中,人工智能芯片是人工智能硬件产业链中最基础的部分,也是最核心的单元。基础层通过传感器获得信息和数据,并没有做任何的信息处理。如何在数据的源头运用边缘端的感知芯片进行信息过滤和信息提取是目前基础层需要解决的最重要的问题。
算法层解决的是对分布式感知系统进行信息提取的方法问题。各个行业对算法有不同的要求。比如在安防影像分析领域,目前比较热门的是人脸检测和识别,也包括三维人脸检测和识别。例如在自动驾驶领域,如何运用边缘计算去解决汽车感知的问题也是算法层研究的热点。
基于基础层和算法层的数据积累、提炼以及获取,在应用层就可以作用于诸多实际场景。这种多元的场景为边缘计算打开了广阔的成长空间。
纵观智能物联网整个产业链和技术架构,最底层是智能感知的边缘计算芯片。既然芯片是整个产业链的顶端,那么边缘端的人工智能芯片是非常有前景的。从上面的这张产业链图里可以看到,众多科技公司都在芯片领域有所布局。
云端和边缘端各具优势,简单的说,边缘端相对于云端具有低功耗、高私密性等特点。如果边缘端能够实现人工智能推理,达到信息实时获取,对于指导我们的生活和工作都非常有意义。
分布式以及边缘计算在我们实际的生活当中如何应用,这里通过一个触景无限所做的案例进行阐述:
目前地铁的通行方案是:首先刷卡,但刷卡的管理非常繁琐,包括卡可能会丢失、充值排队等问题。现在新出了打开手机扫二维码的方式,但在过闸机的时候有停顿等等问题,特别是在网络很繁忙、手机没有电等的情况,就会给通行造成一定的影响。
那么可不可以刷脸坐地铁?这里要考虑四个困难,首先用户通行速度可不可以保障?其次,是否能确保不刷错用户?还有就是人数很多的时候会不会处理的很慢?最后一个运营商非常关心的问题那就是资金投入会不会很大?
根据地铁通行的四个实际问题,我们提出了一些技术解决的方法。
通行速度方面,目前人脸识别基本上可以做到在闸机前从抓拍到识别开闸 200 毫秒以内,保证人员的正常通行。
针对误识别的问题,误识别经常会引来地铁支付的投诉。现有的人脸识别技术标准基本上都能达到 95% 以上,但针对地铁特殊的支付场景,也有一些辅助的验证手段来弥补人脸识别技术的先天短板。
针对人数众多、图片数据库很大的问题。人数众多的时候会出现识别率低、遗漏、卡死等等的状况。这里我们建立了一个预筛选的分级管理手段,通过缩小目标人群的数量来提高识别的精度和速度。
最后,运营商关心的资金问题,我们目前的运营方式是与国内大型银行合作。地铁无感支付系统是免费提供给地铁运营商使用的。
地铁无感支付方案所要达到的目标:首先是构建地铁刷脸支付的方案;其次提高管理监控的能力;第三,提升出行体验,不用带卡和手机,通过这套系统,可以为人物进行精准的消费画像,提供更加个性化的服务;最后,积累数据,做客户的行为分析,提取更有价值的信息。
用什么样的辅助手段去提升系统性能?首先人脸的优选系统,其次人脸的预筛,最后进行层次化的库管里。
首先人脸的优选,在抓拍端就对人脸进行追踪,在整个过程中选择最优质的抓拍人脸图像送到服务器进行识别。在闸机之前,我们就会对进入地铁站范围的人脸进行预选,这里对部分的人脸已经进行识别。当乘客走到闸机面前的时候,需要确认信息的人脸库已经很小了,可以达到快速通行的目的。
通过 hot 用户、本地用户等等多级人脸库的管理,既可以加快识别的比对速度,又可以应对断网情况。比如某一个地铁口经常出入的人建一个 VIP 的库,就可以缩小乘客范围。通过分级数据库的管理对客户做一个预筛的过程,在本地也可以刷脸进站了。
整体系统、整个方案是怎样做成的?首先客户进行登录和注册,然后与云端系统进行同步,我们会把数据送到大数据分析系统进行数据的采集和分析。
乘客在进站的时候就做了预筛系统,预筛系统会将抓拍的人脸数据下发到站内闸机部分。闸机处采集用户进出的信息,与地铁的计费系统以及电子钱包的支付系统等等相关联。
对于乘客端系统,开通的方式有地铁的 APP、自助的边缘机还有扫码等快捷开通的方式。开通的流程,首先会记录人脸信息,因为是用人脸去做 ID 标签做支付的。绑定支付方式,还有些乘车的记录的保存。功能主要有登记、注册、实名认证、人脸注册交易等等,还有二维码的绑定,支付绑定等。
映射到云端也需要对业务流程做相应的管理。当然云端还应该有其他的功能,比如运营服务、争议如何处理、数据同步等。
地铁端人脸库的应用系统主要需要与云端进行同步,然后在前端实现乘客的管理功能。
在地铁通道会用站内摄像机进行人脸抓拍,抓拍到的人脸会放到一个人脸库里,形成站级的缓存。换句话说从通道走到闸机的过程中,人脸图像已经送到地铁的人脸库里去进行比对和识别了,会知道闸机附近有哪些人,等用户走到闸机的时候,基本上这个范围已经很小了。
通过这样的预筛系统,可以缩小目标范围,提高人脸识别的精度和速度,提高出行和进站的体验。
站内的系统相对比较简单。在进站和出站之间,做站内乘客库动态数据库的维护、存储以及更改等等功能。
出站系统也比较简单,在站厅的时候对用户进行抓拍,会在站内数据库里面对用户进行分类,检索站内的人脸库之后就可以确认用户出站了。
纵观地铁的整个支付系统,其实是一个云端加边缘端策略的大数据分析系统,包括三个层次。
底层有一个存储的架构。上层包括数据存储的信息,包括乘客库、某一些地铁站的 hot 用户库等等。
再上一层,可以做轨迹分析,用户从哪一个进站进,到哪一站,做了什么事情。这样的轨迹分析对于人物消费画像很有实际意义,分析的结果可以指导广告推送、消费行为分析。
更上一层,可以做一些实际的应用。比如服务的优化,如何提高站内消费体验,还有应急指挥、人员布控等等这些安防类的要求。
这是部署在我们公司的一个边缘计算系统界面。有预筛库、站内、出站等信息的展现。
这套地铁无感支付系统已经进入实际应用阶段,目前部署了 90 多个地铁站。目前部署的场景,每个站有 16 路摄像头,四个地铁口在前端部署 8 个视频结构化边缘智能盒,每个站配备一台识别的服务器。
回到今天分享的主题—智能物联网。这套地铁无感支付系统里既用到了各种感知系统,包括视频、手机 WiFi 等探针技术,又包括了边缘计算,在闸口位置实现人脸的检测识别、多信息的融合、策略的筛选。这是一个边缘计算很好的场景,也是智能物联网应用于实际生活的典型案例。
对于智能物联网,分布式和边缘计算都是不可或缺的,特别是在目前多信息融合的情况下,如何采取分布式的管理方法,分布式的传感器去获取信息?如何进行边缘计算?如何对信息进行提取?都是未来在智能物联网发展的方向。
5G 时代的到来,给智能物联网提供了一个非常好的平台,未来的数据传输将不成问题。5G 数据传输这么快了,为什么还要边缘计算?分布式传感器获取的数据是海量的,如果不在前端进行分析和处理,都通过网络传到后台或传到云端去做处理的话,对后台的压力和要求是非常高的。算力如何分配是一个关键问题。哪些应用、哪些算法可以跑在前端?哪些比较重的模型需要跑到后端?需要从实际场景出发进行合理配置。超级小组介绍
「超级小组」是 IT 桔子推出的互联网垂直行业社群,通过不同的主题性小组,为用户结构化呈现某一领域最新动态、优质内容、火爆话题以及嘉宾干货。
往期活动分享嘉宾包括但不限于:Video++ COO 董慧智、来也的合伙人 白泽宇、数库创始人刘彦、环信 CEO 刘俊彦、深思考 CEO & AI 算法科学家 杨志明、英诺天使基金执行董事周全等,人工智能线上公开课每月一期,超级小组会员免费参与,欢迎持续关注。
▶揭秘死亡公司烧钱榜——独角兽获近25亿资金也难逃陨落,运营十年的互联网「老将」终消失
▶曾在京东上市中赚了120多倍,至今参与近90起投资,解读「投资女王」徐新的今日资本