迁移学习破除表情面具！？
（图片来源网络）
为何你戴着面具把自己隔离
为何你戴着面具把现实逃避
颠倒的黑白看不出错对
真假的表情分不清好坏
……
还记得风靡一时的美剧《Lie to me》吗？ Cal Lightman博士能够通过分析一个人的脸、身体、声音和话语读懂他的情感。当一个人不经意地耸肩，搓手，或者扬起下嘴唇，Lightman就知道他正在撒谎。
（来源美剧《Lie to me》）
秀秀也常常幻想能拥有如此强大的读心能力，于是就发现了这样一个神器：表情训练软件METT（micro expression training tool），基于AI技术，如果计算机能洞察人的真实想法，那么人机交互将更加顺畅，还能辅助医疗诊断、案件侦破。借此神器，也许未来，我们每个人都能像《Lie to me》的主人公一样，一眼洞穿他人的表情面具，不再被隐藏的谎言迷惑。
（来源美剧《Lie to me》）
人类的自发表情有别于具有欺骗性的传统面具表情，是我们不经意间感情的流露，能反映出内心的真实感受。但是由于面部肌肉运动幅度小、强度低，自发表情往往难以察觉、引起关注。
今天秀秀特别推荐杭州电子科技大学付晓峰团队的最新成果《小数据样本深度迁移网络自发表情分类》，一起看看如何利用迁移学习技术识别人类的自发表情。
论文标题：小数据样本深度迁移网络自发表情分类
论文作者：付晓峰, 吴俊, 牛力
引用格式：付晓峰, 吴俊, 牛力. 小数据样本深度迁移网络自发表情分类[J]. 中国图象图形学报, 2019, 24(5): 753-761.
[DOI: 10.11834/jig.180462]
全文链接：
http://www.cjig.cn/html/jig/2019/5/20190508.htm
主题词：自发表情；迁移学习；分类；神经网络；同构网络
结合在越来越多的场景得到广泛应用的神经网络学习方法，提出基于深度迁移网络的表情种类判别方法，判别自发表情的种类。为保留原始自发表情图片的特征，即使在小数据样本上也不使用数据增强技术，采用光流特征3维图像作为对比样本。将样本置入不同的迁移网络模型中进行训练，然后把经过训练的同结构的网络组合成同构网络并输出结果，从而实现自发表情种类的判别。
基于迁移学习，将RGB样本与OF+样本置入同一网络模型Inception-Resnet-V2进行训练，将训练得到的两个模型组合得到同构网络，利用同构网络对测试样本判断自发表情种类。
OF+样本的制作方式为：同一视频片段中两张不同的RGB图片，相减RGB图片得到一张差值灰度图，通过光流法计算得到X轴与Y轴两个方向上的两张位移向量图片，将三张图片叠加得到OF+样本。
（OF+自发表情样本）
由于自发表情具有诱导困难、样本难以采集等特殊性，因此数据样本较少。实验数据库为中国科学院心理研究所公开的CASME、CASMEⅡ、CAS(ME)2 (Chinese academy of sciences macro- expression and micro-expression)，这些数据库的自发表情种类都由专家和受试者共同确定。
（表1 自发表情数据库）
（部分图片来源电影《头脑特工队》）
在不使用数据增强的基础上，论文将数据库样本以8 : 2的形式分成训练集和测试集，将测试集放入同构网络中测试，测试结果表明本文方法能够较为准确地判别自发表情种类。
（针对3个数据库样本的混淆矩阵）
为表明论文中N-Ⅲ网络对自发表情种类判别的效果最优，将VGG、ResNet以及两者的异构网络HCN等与之比较，结果如表2所示。虽然本文中N-Ⅲ网络并非在每个小类都取得最好的效果，但就总体而言是目前最好的，除了恐惧类自发表情其他类的自发表情识别置信度都接近1。
（表2 不同网络识别准确率对比）
实验结果表明，本文将迁移学习方法应用于自发表情种类的判别，并对不同网络模型以及不同种类的样本进行比较，在开放的自发表情数据库CASME、CASMEⅡ和CAS(ME)2上的测试平均准确率分别达到了94.3%、97.3%和97.2%，比目前最好测试结果高7%。论文方法在不同数据库上均表现出优异的自发表情分类判别特性，取得了目前最优的自发表情种类判别的平均准确率。
或许有一天AI能够让机器具备比Cal Lightman博士更强大的读心解惑能力，对人类而言，这种科学能力既是辨识度谎言、揭穿欺诈的福音，亦可能是带来潜在危险的一种魔咒！秀秀愿人类能够永远用好人工智能这把双刃剑，期盼天下大同，世界和平。
第一作者：付晓峰
付晓峰，副教授，博士，硕士生导师，杭州电子科技大学计算机学院。一直从事人工智能方面的研究开发工作，包括：人机交互、计算机视觉、模式识别、智能机器人控制等。在生物特征如，人脸识别、表情识别方面颇有研究，此外涉及虚拟试衣、指纹、虹膜、掌纹、手写数字、车牌等分类和识别。
主持2项国家自然科学基金、1项浙江省自然科学基金，参加1项国家863服务机器人重点项目、1项浙江省人才基金项目、1项浙江省新世纪151人才工程资助项目；作为主要成员参加1项浙江省科技计划项目（2018年度重点研发计划项目）、参加1项浙江省科技厅国际科技合作专项。
在面向自然和谐人机交互中人脸表情识别的软件研究方面取得了一定的成果，研发了面向人机交互的人脸表情识别平台FERP。拥有软件成果多项。
E-mail: fuxiaofeng@hdu.edu.cn
编辑：秀秀
指导/审核：梧桐君
前沿丨观点丨资讯丨独家
扫描下方二维码 关注学报公众号
中国图象图形学报 | 订阅号