用AI分析蒙娜丽莎的微笑，发现她其实没那么高兴

 IDG君写在前面：

日常生活中，我们可以通过观察人的说话方式和脸色来揣摩别人的心思，因为每个人的音容相貌都隐藏着巨大的信息和内涵。研究表明，人的面部有44块肌肉，可以组合成一万多种表情，目前已知至少有3000多种是具有情感意义的。

在艺术作品里，名画《蒙娜丽莎》留下的似笑非笑的表情，是五百多年来达·芬奇留下的神奇谜团，并衍生出无数解读。在这份耐人寻味的情感空间里，人们众说纷纭，争论不休。

可不可以用科学的方法来作出解释呢？合肥工业大学计算机与信息学院教授、情感计算研究所所长的孙晓在演讲中表示，他们利用面部表情识别程序对蒙娜丽莎的表情进行分析，得出了一个令人意外的答案。如果这样的技术变得更加成熟，也许我们将对人类情绪的探究将更进一步。

 作者 | 孙晓

编辑 | 麦芽杨 凝音 

来源 | 我是科学家iScientist

AI 分析了蒙娜丽莎，识别出这些情绪

大家好，我叫孙晓，来自合肥工业大学。我是一名计算机科学家，我的工作是教计算机识别人心。

人心非常复杂，且我不是心理学家，那我怎么能去教计算机去识别人心？我想先请你来看一幅经典画作。

长久以来，科学家们都试图解密蒙娜丽莎的秘密 

蒙娜丽莎的表情非常微妙。

不同背景和不同知识领域的人都对她的表情进行过一些解读：有人说她看起来非常温柔，有人说她面带严肃，也有人说她这是吃过巧克力后露出的微笑，甚至有人说她这是刚怀孕后的微笑……

大家都想尝试发现蒙娜丽莎的内心到底在想什么。

我们也通过面部表情识别程序对蒙娜丽莎的表情做了一个简单识别，结果非常有趣，我们发现：蒙娜丽莎的表情有 62% 的可能性是中性；悲哀和高兴不是主要成分，分别只占 19% 和 12%，但同时存在她的表情中。

这里的计算机面部表情识别程序，实际就是我们在教计算机去简单地识别人的表情。

？

？

？

猜一猜上图中哪一位的表情中，带有惊讶情绪？该数据来源于多媒体技术会议 ICIP2020

做个小测验：我这里有三个动图，其中，有一个动图里的人做了一个非常微小的惊讶表情。

你是否能看出是哪一位做出了这个表情？下面来公布一下正确答案。

积极

惊讶

消极

你猜对了吗？

中间这位，露出了一个非常短暂的惊讶表情，其他两位则分别出现了短暂的积极和消极。

这其实是我们参加世界表情识别大赛时的数据。我们用人工智能算法参加了这个比赛，很荣幸地获得了第一名。

 通过社交网络，也能监测到微妙的心理波动

看起来，人工智能算法完全可以准确识别出那些瞬间即逝的微妙表情。那么，我们能否说它可以识别内心？

这让我想起十几年前在日本留学时参与的一些工作。

当时，我们团队关注到了一些国家和地区的自杀现象，这些自杀现象的背后有一些非常深层的心理问题。

于是我们的团队就开始去做数据收集工作，获取了一些自杀者生前的数据，包括他们的生理健康数据。

我们发现，他们的生理没有什么明显问题，但他们又的确在自己的博客或微博里记录了非常灰暗的心路历程。

于是我们团队又开始大量收集一些博客和微博的公开数据，然后请求心理学家的帮助，对这些博客和微博内容字里行间蕴含的情感进行非常细致的标注。

上图就是我们已经标注后的样子。大家可能看不太清，这也说明标注得非常细致。从篇章段落到字里行间，甚至是每一个字里面所蕴含的心理状态，都进行了标注。我们将这些教给计算机，于是计算机也学会了从文字中去探讨人的心理状态。

这项工作目前我们还在持续进行中。

我们用算法对微博内容做了一些简单分析，发现在半年时间内，他们的微博心理波动出现了一些非常明显的特征，比如，发微博的总量已经非常低，尤其是一些正向的情感明显降低，而且负向情感也逐渐增多。

这些特征都体现出他们可能有非常大的心理压力，心里也非常痛苦。这些都可以通过字里行间体现出来。

我们用微博监测心理波动，也发现了一些有意思的事。这是我们实验室的两位同学，一位男生，一位女生，他们疫情在家的半年时间里微博中体现的情感波动情况。

绿色曲线代表开心情绪，橙色代表悲伤

先看男生的微博，大部分时间都很高兴，很少出现负面情绪。基本上能脑补出来，这个男生每天笑呵呵地生活，这或许也可以从数据上支撑我们俗话说的「男人的快乐很简单」。

再看女生，各种情绪的波动错综复杂，这或许也侧面体现了「女生的心思很细腻」。

所以，我们可以通过面部表情和社交网络内容，似乎可以去对人的心理进行一些简单探测了。

 普适心理计算：更复杂的心理评估

那么，我们能不能在一些更复杂的情况下，对人的心理进行更复杂的评估？

除了社交网络内容和面部表情，心理的内部状态也可以体现在眼神、行走姿态和一些生理信号，比如心率、呼吸。

如果能综合这些信息，那我们就可以更准确地发现人的内部心理状态，或者说，通过心理的外在表现去挖掘人的心理内部状态，去发现人的性格特质。

这也是我目前所从事的研究工作，叫「普适心理计算」。它是情感计算的一个分支，属于人工智能和心理学的一个交叉，人工智能借用心理学知识来探测人的心理状态。

这个视频就是我们实验室的研究成果之一。

我们综合了面部表情、语音语调、说话的内容，还有他眼睛的视角、视野以及他身体整个上半身的姿态，甚至包括他的心率，呼吸等等，判断出了他目前的心理状态。

视频里可以看到，我交给他这个任务以后，他表现得非常兴奋，数据中也能看出来他「兴奋」这一栏的值非常高；视频快结束的时候，他听说我不能带他来现场观摩，还表现出了些许失望。

既然可以通过一些心理的外在表现去探测人的内部心理，那我们能不能再深一步去探测他的性格特质？

来看这两张图片。

我安排实验室里的一位男生和一位女生分别去观察这个蒙娜丽莎的画像，同时用算法去记录他们的眼神。

越亮的地方，表示他们眼神落在这个地方的时间越久。

可能大家能比较容易猜到，右面图像的观察者是「喜欢看脸」的男生，而左边的观察者是喜欢看穿着、看各种细节的女生。

性别差异包括随之而来的性格特质差异，会让人在处理外部信息的时候产生明显的差异，这些差异也会有一些规律。那反过来，我能不能通过这些规律，倒推出你的性格特质，进行一些分析呢？

 让技术从「心」开始，帮助人类

「情感计算」是二十几年前提出的概念，它的初衷实际上是帮助那些自闭症儿童，让他们去识别自己的情绪并能控制自己的情绪，也包括对他人情绪的认知。

我刚才分享的，无论是面部表情的情感计算，还是文本的情感计算，或者更复杂的心理探测甚至包括人格的探测，都是希望利用人工智能和情感计算技术，从「心」为人提供服务。

到现在，情感计算实际上已经慢慢在落地了，在一些领域中，比如机器人或自动驾驶领域，都会或多或少应用到情感计算。我们也希望通过我们的技术手段，让情感计算在更多领域里为我们提供服务。

当然，技术为我们提供便利的同时，也会面对质疑。和其他的人工智能技术一样，大家可能对情感计算技术也抱有一些顾虑，比如可能会侵犯我们的隐私。

我觉得，我们完全可以怀抱一种开放的态度，来共同建设和完善，让技术更好地服务于人类。

从「心」开始，未来可期。

本文作者孙晓，首发于我是科学家iScientist，欢迎关注。

END

你还不能错过：神奇的“心流体验”，为什么通过它可以进入巅峰状态？
大脑是如何发明道德感的？