基于3D摄像头的AI人体行为模式识别系统SmartSp：进军行为模式识别的人工智能领域 | 大湾区前沿

基于人脸特征进行监控的识别效果已经无法满足多元需求，人体行为分析正成为新的技术应用趋势。

文丨蔡晓纯

编辑丨江倩君 菠萝氪

2020年“创客中国”广东省中小企业创新创业大赛暨第四届“创客广东”大赛省复赛完赛，卢大伟团队的“基于3D摄像头的AI人体行为模式识别系统SmartSp”创新项目，拿下新一代信息技术领域创客组别复赛最高分。

当前人脸识别技术已在各行业里广泛应用，但随着应用场景日趋复杂化，基于人脸特征进行布控的识别效果已经无法满足多元需求。在人流监测、行为监控方面，需要更多的人体特征来完善识别技术，因此人体行为分析正成为新的技术应用趋势。

行业普遍应用的技术仅限于面部识别，无法对行为进行识别分析，因此应用范围受限，且使用成本高，针对以上痛点，SmartSp能同时获取场景中的视频图像和深度图像（深度图像是指将从图像采集器到场景中各点的距离作为像素值的图像）信息，准确识别图像中的人体相关信息，提供人体动作的检测与追踪、关键点定位、人流量统计、属性分析、人像分割、手势识别等人体行为模式分析，结合了视觉行为和非视觉行为识别的优点。

据卢大伟团队介绍，SmartSp系统主要有三个核心技术：一是采用多层前馈人工神经网络并行算法框架，此项技术能提取出输入层的数据行为特征；二是采用稠密光流轨迹与稀疏编码算法进行行为识别，将融合框架提取出的行为特征进行处理后，送入支持向量机（SVM，一种二分类模型）中，得到模型后再进行分类，使静态特征识别率高达到98%；三是使用LSTM（长短期记忆网络，适合处理和预测时间序列中间隔和延迟非常长的重要事件）的卷积加权融合算法，它提取视频数据的RGB图像作为空间流输入，光流场图像作为时间流输入，再将各自得出的分类结果进行卷积加权融合，提高动态图像识别率达95%。

基于以上的核心技术，SmartSp系统拥有广泛的应用领域。

第一个是安全监控领域。目前，我国地铁、火车站、体育馆等还未建立满足安全运营的人流自动预警系统，有关的量化标准也未建立，人流预警及发布机制主要依靠人工判断，容易出现判断不准确、不全面等情况。此外在公共视频检索方面，传统的视频监控完全依赖于人力进行手动寻找可疑行为和安全隐患等，不仅低效，而且大部分只能在事后进行分析，在海量视频监控数据面前，人力显得力不从心。而SmartSp系统可以精确分析和预判人体的静态或动态行为，实现人员密集区域的安全监控，如有没有人手持管制刀具、有没有人摔倒等。将行为识别应用于视频监控中，可以实现无人监控，实时预警暴力事件发生、减少主体在人力物力上的投入。

第二个领域是互动游戏，以往的互动游戏往往需要外接智能设备的配合，但该系统无需外接设备，就可以准确识别游戏中的各种人体动作。第三个是时尚领域，如该系统可应用于商场中的智能橱窗，智能试衣间等，消费者通过镜头就可以选购商品、了解适合自己的穿搭。

在未来的战略布局上，卢大伟团队计划在2020年重点应用公共安防监控业，5年后将持续开发各行业应用方案，逐步形成产业化；预计在2028年，建立大数据库，将自身定位提升到大数据运营生态公司的规模。随着项目的完善，所涉及的产业链将逐步扩充。未来卢大伟团队将在分析层面、硬件层面、内容层面、数据业内进行整合。

据了解，该团队主要由来自硅谷的创业团队担纲主力。其中，曾担任TCL全球副总裁的团队负责人卢大伟博士是美国硅谷SmartChip首席科学家；其他主要团队成员也都来自硅谷的人工智能专家。

目前，卢大伟团队已与包括微软、TCL、INTEL在内的多家企业、研究院达成合作关系。在融资方面，卢大伟团队目前正和启建投资等进行接洽，项目落地后将申请“珠江人才计划”2000万-8000万资助。