【期刊】可穿戴表情识别策略新进展|华中科技大学黄永安教授团队与首都师范大学谭小慧团队合作新突破 | Research
扫码阅读
华中科技大学黄永安教授团队与首都师范大学合作提出了一种可穿戴表情识别策略，实现了基于表皮电子，通过深度学习算法实现的对环境光线、人体姿态及遮挡变化等条件下仍然具有高鲁棒性的人脸表情识别。相关研究成果以“Highly Robust and Wearable Facial Expression Recognition via Deep-Learning-Assisted, Soft Epidermal Electronics”为题发表在Research 上。
Citation：Meiqi Zhuang, Lang Yin, Youhua Wang, Yunzhao Bai, Jian Zhan, Chao Hou, Liting Yin, Zhangyu Xu, Xiaohui Tan, YongAn Huang, "Highly Robust and Wearable Facial Expression Recognition via Deep-Learning-Assisted, Soft Epidermal Electronics", Research, vol. 2021, Article ID 9759601, 14 pages, 2021. https://doi.org/10.34133/2021/9759601
研究背景
面部表情是反映内心情感的一面镜子，人类主要通过面部表情来传达情感状态和意图，面部表情包含了丰富的情感和认知信息，在社交机器人、医疗、驾驶疲劳监控，尤其是人机交互等领域具有重要的现实意义。然而，典型的基于视觉的面部表情识别系统受外界环境的限制，如自然环境下的光线变化、人脸姿态改变以及人脸遮挡的存在都会使表情识别失败，而刚性面部识别装置，则不利于进行自然人机交互。
研究进展
华中科技大学黄永安教授团队与首都师范大学大学合作提出了一种基于深度学习辅助表皮电子的高可穿戴性、高鲁棒性的表情识别系统（图 1）。其中，完全共形于面部的表皮电子器件可以在不影响自发表情流露的前提下实现高保真表面肌电信号（sEMG）采集，且不受运动、空间和光线的影响。经实验测试，当表面发生超变形时，即使发生塑性变形，柔性电极也不会发生损伤。对比商用凝胶电极，这些柔软、可伸缩的电极可以与皮肤更好地接触。
图1 基于深度学习辅助表皮电子的高可穿戴性、高鲁棒性的表情识别系统
另外，该项研究采用了鲁棒因子预处理与深度学习的智能算法，实验结果显示该方法可显著提高基于小样本的面部表情种类和强度的识别精度。该系统基于人脸运动单元构建训练集。数据通过鲁棒因子进行预处理，将预处理后的特征集与卷积神经网络结合，抑制了不同批次和个体的差异。在针对7种基础表情（开心、伤心、惊讶、恐惧、愤怒、厌恶、轻蔑）及其5级不同强度（A~E）的识别上取得了较好的效果，种类和强度的识别准确率分别为94.48%和92.51%。
未来展望
该面部表情识别系统是首次将表皮电极同AU融合实现面部表情识别（FER）的系统，其中动作单元（AU）由面部肌肉控制，电极捕捉与特定AU相对应的细微肌肉运动。捕获AU和强度的方法将为增强面部表情数据的数据库构建提供新的思路。表皮电极不会阻碍自发表达，可以佩戴一周时间。今后，要进一步增加训练数据规模，提高识别准确率，为光照变化、侧视图和遮挡等不同场景下提供高精度的FER系统。
这种可穿戴面部表情识别系统具有较高的普适性和准确度，可穿戴的表皮电子设备可以捕捉到细微的面部肌电信号，在不同的实验环境中，对姿势、遮挡和光线变化具有较强的鲁棒性。它适用于单个个体在不同场景的表情识别，更适合于个体在移动、长期条件的面部表情监测，不同于机器视觉的适用于固定场景下的多个个体表情的短期识别，两者可以起到互补的效果。该表情识别系统在日常生活中的人-机情感交流、语言消歧等场景中得到了可行性验证，有望成为面部表情识别系统领域的计算机视觉方法的有益补充。进一步的研究会集中在多模态表情识别，表面肌电信号可以作为视觉或语音信号的补充，结合它们各自的特点和优势，在人机交互中具有更大价值。
作者简介
黄永安，华中科技大学教授，国家杰出青年科学基金获得者，“科学探索奖”获得者，数字制造装备与技术国家重点实验室副主任。致力于柔性电子的器件设计、工艺原理与装备等研究，在智能蒙皮、柔性传感、人机交互、电流体喷印、激光剥离等领域取得系列进展，在Science Advances、AM、AFM、Small、Nano Energy等期刊上发表论文100余篇。
谭小慧现任首都师范大学信息工程学院副教授，兼任中国虚拟现实与可视化产业技术创新战略联盟（CVRVT）青年工作委员会副主任。主要研究领域包括情感计算、人机交互和虚拟现实。主持国家自然基金、国家重点实验室开放课题等项目。在相关领域取得了一系列研究成果。
《Research》是中国科协与美国科学促进会于2018年共同创办的定位为国际化、高影响力、世界一流水平、综合性、大型OA科技期刊，是美国《Science》自1880年创刊以来第一本合作期刊。主要发表先进能源、先进制造、先进材料、人工智能、环境科学、柔性电子、健康科学、信息科学、微纳科技、量子信息、空间科学，11个热点交叉领域突破性原创研究成果。主编(中国)为中科院院士黄维，主编(国际)为美国明尼苏达大学麦克凯特杰出教授崔天宏。第二届编委会由许宁生、高松、黄如、李兰娟、饶子和、俞书宏、崔铁军等国内外33位院士在内的137位编委组成。已被CAS、CNKI、CSCD、DOAJ、EI、ESCI、INSPEC、PMC、Scopus数据库收录。
欢迎相关领域的科学家们踊跃投稿，关注和使用期刊的出版内容。
网址：
https://spj.sciencemag.org/research/
国际刊号 ISSN 2096-5168
国内刊号 CN 10-1541/N
期刊专栏：
https://www.koushare.com/periodical/periodicallist?ptid=102
Research科学研究
关注交叉学科热点领域
文章来源“Research科学研究”公众号
为满足更多科研工作者的需求，蔻享平台开通了各科研领域的微信交流群。进群请添加微信18019902656（备注您的科研方向）小编拉您入群哟！
欢迎大家提供各类学术会议或学术报告信息，以便广大科研人员参与交流学习。
联系人：李盼 18005575053（微信同号）
欢迎大家提供各类学术会议或学术报告信息，以便广大科研人员参与交流学习。