面孔材料和相关工具整理
The following article is from OpenScience Author 季琭妍
转载 | OpenScience
Hello,
这里是行上行下,我是喵君姐姐~
不知道你是否有这样的困惑,想要做面孔相关的实验,却苦于找不到好用的数据库?想要实现一个表情的渐变,却不知道应该怎么做?
本次推文直接解决你的困惑,一站式解决你的所有困扰。
今天,主要介绍各类面孔图片库以及相关工具,主要参考以下两个网页,更加详细的介绍,请参考相应的说明。
网址1:http://www.epaclab.com/face-stimuli
网址2:https://rystoli.github.io/FSTC.html
1. CAS-PEAL人脸数据库
由中国科学院视觉信息处理与学习(VIPL)小组的山世光教授创建,目前有99594张1040名中国人的照片(595名男性,445名女性)。图像包括不同朝向、表情、配件和照明。
网址:http://www.jdl.ac.cn/peal/index.html
2. The Chicago Face Database(CFD)
由Debbie S. Ma,Joshua Correll 和 Bernd Wittenbrink 在芝加哥大学开发的。该数据库旨在用于科学研究。它提供高分辨率、标准化的照片,包含17-65岁之间不同种族的男女面孔。每个模特都有丰富的常模数据,这些数据包括物理属性(如面部大小),以及独立参与者的主观评分(如吸引力)。有关数据库构建和可用的常模数据的详细信息可以在 Ma,Correll 和Wittenbrink(2015)中找到。附带特质评定和关于面部知觉的额外数据!
网址 1:https://www.ncbi.nlm.nih.gov /pubmed /25582810
网址2:
http://faculty.chicagobooth.edu/bend.wittenbrink/cfd/index.html
3. Max Planck FACES / Ebner FACES
171名年轻(n = 58)、中年(n = 56)和老年(n = 57)的女性和男性,分别表现出六种面部表情:中性、悲伤、厌恶、恐惧,愤怒 和高兴。每个人的每个面部表情有两张图片,总共有2052张图片。
网址:http://faces.mpdl.mpg.de/imeji/
网址:http://colab.mpdl.mpg.de/mediawiki/Faces
4. Radboud Faces Database
67个模特(包括高加索男性和女性,高加索儿童(男孩和女孩),摩洛哥裔荷兰男性)显示8种情绪表情。根据面部动作编码系统,每个模特都经过培训,以展现以下表情:愤怒、厌恶、恐惧、快乐、悲伤、惊讶,厌恶和中性。每个表情面孔都有三种不同的注视方向,所有照片同时从五个摄影角度拍摄。网址2是Bastian Jaeger对其中一些面孔的一些特质的评分。
网址1:https://psyarxiv.com/cf5ad/
网址2:http://www.socsci.ru.nl:8180 /RaFD2 /RaFD?p=main
5. NimStim Face Stimulus Set
描述了一组称为NimStim面部表情的面孔材料。创建这个集合的目的是提供未经训练的个体(研究参与者的特征)能够识别的面部表情。这个集合的图片数量很多,多种族,并在线提供给科学界,提供对面孔材料的心理测量评定结果。评定结果表明面孔表情有很高的识别率,此外,两次测试间的评分者内部信度很高,这为这组面部表情的有效性和可靠性提供了数据支持。
网址:http://danlab7.wixsite.com/nimstim
6. NimStim Set of Facial Expressions
图像包括不同性别和种族的人脸,展现多种情绪:恐惧、高兴、悲伤、愤怒、惊讶、平静、中性和厌恶。
参见:Tottenham, N., Borscheid, A., Ellertsen, K., Marcus, D.J., Nelson, C.A. (April, 2002). Categorization of Facial Expressions in Children and Adults: Establishing a Larger Stimulus Set. Poster presented at the Cognitive Neuroscience Society annual meeting, San Francisco.
网址:http://www.macbrain.org/resources.htm
7. Karolinska Directed Emotional Faces
参与者:70名(35名男性和35名女性)。年龄:20至30岁,平均年龄25岁。情绪:7种(中性、快乐、愤怒、恐惧、厌恶、悲伤、惊讶)。角度:5种(-90、-45、0、+ 45、+ 90度:即全左侧脸,半左侧脸,正脸,半右侧脸及全右侧脸)。”可通过Alex Todorov实验室获得面孔特质评分。
网址:http://tlab.princeton.edu/databases/karolinskafaces/
面孔库网址:http://www.emotionlab.se/kdef/
8. Center for Vital Longevity Database
由密歇根大学生命长寿中心的Meredith Minear 和 Denise Park 设立,现由UT达拉斯Park老年和心理实验室管理。这里有相当多的刺激材料,包括不同的种族,情绪和面孔朝向。一个包含575个年龄段在18到93岁之间的人脸数据库。我们建立数据库的目的在于更能代表整个生命周期的各个年龄组,特别强调招募老年人。最终数据库有218名年龄在18-29岁,76名年龄在30-49岁,123名年龄在50-69,以及158名70岁及以上。
网址:
http://agingmind.utdallas.edu/download-stimuli/face-database/
9. 10k US Adult Faces Database
大型、高质量且自然的面孔图像集合,包含大量数据。这个数据库包含10168张自然面部照片和对其中2222张面部的几种测量值,包括可记忆性评分,计算机视觉和心理学属性,以及面部关键点注释。面孔照片是分辨率为72像素 × 256像素的JPEG图像。属性数据存储在MATLAB或Excel文件中。关键点注释存储在TXT文件中。通过引用文章和接受许可协议,您可以使用数据库的任何部分。要获取数据库,请填写以下表格获取访问信息。心理学属性现在包括参与评分者的信息,因此您现在可以轻松地研究以被试为中心(而非以项目/面孔为中心)的面孔和记忆效应。
网址:
http://wilmabainbridge.com/facememorability2.html
该数据库现在还包括一个软件工具,可以让您基于我们收集的属性和可记忆性信息,从数据库中导出自定义的图像集合,用于您自己的研究。(例如:您现在可以根据可记忆性、性别、种族、情绪、吸引力等,轻松创建一组面孔集合)
网址:http://tlab.princeton.edu /databases/karolinskafaces/
FaceGen这个电脑合成面孔的软件、功能非常惊人,可沿着多个不同的人格特质判断而改变(例如,可信度,支配性等)。
10. Face Research Lab London Set
图像是102个成人面孔,全彩色1350 × 1350像素。模板文件标出189个坐标描绘面部形状,用于Psychomorph WebMorph.org。 自我报告的年龄,性别和种族包含在london_faces_info.csv文件中。文件london_faces_ratings.csv中包含了2513人(17-90岁)对中性正脸的吸引力评分(从“远远没有普通有吸引力”到“远远比普通更具吸引力”的1-7等级)。
网址:
https://figshare.com/articles/Face_Research_Lab_London_Set/5047666
11. Oslo face database
我们创建了一个面孔照片数据库,称为奥斯陆人脸数据库。它由约200个中性表情的男性和女性面孔组成,有三个注视方向:左,中,右。照片拍摄于2012年,这些面孔是来自奥斯陆大学的学生。我们收集了面孔的吸引力、可信度和感知的支配性的评分。我们对其中一些面孔手绘了兴趣区(ROI,见图像)用于眼动分析。对于瞳孔测量,我们还有可用于基线瞳孔测量的亮度匹配的灰度图像。
网址:https://sirileknes.com /oslo-face-database/
12. MR2人脸数据库
包含多种族、高分辨率的面孔材料数据库。它包含欧洲、非洲和东亚血统的男女面孔,共74张全彩图像。
网址:http://ninastrohminger.com/the-mr2
13. Basel face database
巴塞尔人脸数据库的目标是系统地控制面部特征和人格之间的关系。因此,我们拍摄了40个不同个体的标准化肖像照片。我们分别减少和增强了被视为能动性(agentic)和共生性(communal)特征的面部信息(大二人格),或是经验开放性(open to experience)、尽责性(conscientious)、外向性( extraverted)、亲和性(agreeable)、情绪稳定性(neurotic)(大五人格)相对应的面部信息。在两项验证研究中,我们证明所有七个维度都在40个数据库面中成功建模。
网址:http://mirellawalker.com/face-database/
14. Heads' stimulus set, with morph scripts
由Alex Kayser收集的“头部”照片。高品质的光头脸。
参见:Goldstone & Steyvers, 2001, Journal of Experimental Psychology。
网址:http://psiexp.ss.uci.edu /research /software.htm
15. Bogazici face database
在西方文化下建立了许多人脸材料集可用于科学研究。我们在此报告以土耳其本科学生为目标人脸的数据库开发。我们拍摄了高分辨率的标准化照片,并包含以下材料:
(a)基本人口统计和外观相关信息;
(b)两种关键点标记(用于Webmorph和几何形态测量学(geometric morphometrics, GM));
(c)面部宽高比(facial width-to-height ratio, fWHR)测量;
(d)关于摄影参数的信息;
(e)评估者提供的知觉常模。
我们还基于评价常模,使用GM对面部变异进行各种分析和可视化。最后,我们发现样本中fWHR存在性别二态性,但这可以被体重指数解释。我们还发现GM和fWHR测量之间的相关关系。数据库和辅助材料可免费用于科学研究。
网址:
https://journals.plos.org/plosone/articleid=10.1371/journal.pone.0192018
16. FEI巴西人脸数据库
Carlos Eduardo Thomaz博士的巴西人脸数据库。
网址:https://fei.edu.br/~cet/facedatabase.html
17. 印度人脸数据库(无法找到有效链接)
小型却有用的非白种人面孔资源,由印度理工学院坎普尔(Indian Institute of Technology Kanpur)管理。
18. The City Infant Face Database
婴儿情绪面孔集合,彩色和黑白图片各157张,附有相关评定和效度数据。
网址:
https://link.springer.com/article/10.3758 /s13428-017-0859-9
19. Young Adult White Faces with Manipulated Versions
此图像集包含来自加拿大安大略大学的20名男性和20名女性青年(平均年龄= 19.3)白人学生的图像。图像已在瞳孔上对齐,并使用WebMorph.org描绘。所有图像都是1350 × 1800像素的JPG格式,并且有掩蔽和非掩蔽版本。averages.txt 和transforms.txt 文件用于解释如何使用WebMorph 对面孔图片进行操纵(例如,男性/女性化,平均)。
网址:
https://figshare.com/articles /Young_Adult_White_Faces_ with_Manipulated_Versions/4220517
20. High quality white fe/male stimuli varying in health, gender, and symmetry
有着不同的健康状况、性别和对称性,来自Jones等人2018年的文章。
网址:
http://journals.sagepub.com/doi/abs /10.1177/0956797618760197
没有证据表明对面孔男性气质的偏好可以跟踪女性荷尔蒙状态的变化。
网址:https://osf.io/9b4y7/
21. NIMH-ChEFS adolescent face stimulus set
随着新技术的出现,面孔情绪和认知加工的情感和认知神经科学基础和临床研究呈现爆炸式增长。成人情绪面孔材料常用于这些研究。对于发展性研究,需要一套经过验证的儿童情绪面孔。本文描述了NIMH儿童情绪面孔图片集(NIMH Child Emotional Faces Picture Set, NIMH-ChEFS)的建立。这是一个相对较大的图片集,具有高质量、彩色的儿童情绪面孔图像,共482张,包括恐惧、愤怒、快乐、悲伤和中性表情,有直视和避免注视两种注视条件。该面孔集合的效度数据来自20名健康成人评价者的评分。评价者对面孔情绪给出的标签与事先指定的情绪类别一致性很高,并且与常用的成人图像集报告的结果一致。该材料集还提供了情绪强度、情绪代表性和综合的“良好”评分,以便研究者选择他们研究所需的特定材料。这些数据应该让研究者对NIMH-ChEFS在情感和社会神经科学研究中的有效性有信心。
网址:http://devepi.duhs.duke.edu /NIMH_Pictures.html
22. Developmental Emotional Faces Stimulus Set,DEFSS
DEFSS是一套标准化的照片材料,包括儿童和成人面孔,已经过各个年龄段的评分者验证。它包括404个经验证的面孔照片,照片中人物介于8到30岁之间,展现五种不同的表情:高兴、愤怒、恐惧,悲伤和中性。”网站很慢,向下滚动才能找到。
网址:
https://reflectionsciences.com/resources/researchers/
23. Psychological Image Collection at Stirling (PICS)
这是一个大型数据库,有很多刺激材料以及其他数据库的链接。
网址:http://pics.psych.stir.ac.uk
24. Glasgow Face Database
格拉斯哥人脸匹配测试(Glasgow Face Matching Test, GFMT)和格拉斯哥不熟悉人脸数据库(Glasgow Unfamiliar Face Database, GUFD。Burton等人,现在在约克大学FaceVar Lab页面中存放。
网址:http://www.facevar.com/downloads
25. Tarr Faces
来自卡内基梅隆大学的tarrlab。您还可以尝试Face Place,其中包含多个不同种族的200多个人的多个图像,具有一致的照明,多视角。
网址:
http://tarrlabwiki.cnbc.cmu.edu/index.php/Main_Page
26. FAMED(Faces and Motion Exeter Database)
这是一个包含32个男性演员的视频数据库,有正面脸和3/4脸两种视解。图像有不同的格式,例如模糊、像素化等。
网址:http://chrislongmore.co.uk/famed/
27. CULTURAL NORMS数据库和其他(OBJECT / SCENE)材料集
网址:http://agingmind.utdallas.edu/cultural-norms/
28. The Dartmouth Database of Child Faces
包含年龄在6到16岁之间的40名男性和40名女性模特的面孔图像。
网址:
http://www.faceblind.org /social_perception/K_Dalrymple/DDCF.html
29. The Natural Induced Emotion Database
来自Belfast女王大学的Sneddon,McRorie,McKeown和Hanratty。该数据库记录了基于实验室情绪诱导任务诱发的轻度/中度情绪反应的视频(文件非大)。
网址:http://www.psych.qub.ac.uk/BINED/
30. Facial emotion database FEED
来自Technical University Munich的FG-NET数据库,面部表情和情绪。
网址:
http://cotesys.mmk.e-technik.tu-muenchen.de/isg /content/feed-database
31. The Makeup Induced Face Spoofing, MIFS
该数据集包括107个经过化妆变型的女性面孔,来自YouTube化妆教程视频中随机截取的片段。您需要获得许可才可以使用该数据集。
网址:http://www.antitza.com/makeup-datasets.html
32. NIST Color FERET
The Facial Recognition Technology (FERET) 来自美国国家标准与技术研究院(The National Institute of Standards and Technology, NIST)。FERET计划的目标是开发用于人脸自动识别的新技术和算法。作为FERET计划的一部分,在1993年12月至1996年8月期间收集了面部图像数据库。该数据库用于开发,测试和评估面部识别算法。
网址:
https://www.nist.gov/programs-projects/face-recognition-technology-feret
33. Libor Spacek人脸数据库
网站和数据库由埃塞克斯大学的Libor Spacek博士(计算机视觉)设计和维护。
网址:https://cswww.essex.ac.uk/mv/allfaces/index.html
34. The OUI-Audience Face Image Project
这是来自以色列开放大学(Open University of Israel, OUI)计算机视觉实验室和Adience的合作项目,用于分析面包图像。他们的目标是“提供开放的研究资源,反映现代人脸识别和处理任务中的挑战。”
网址:
https://www.openu.ac.il /home/hassner/Adience/index.html
35. Labeled Faces in the Wild Home
来自马萨诸塞大学计算机科学系的面部照片数据库,用于研究无约束人脸识别问题。该数据库包含13,000多张从网上收集的面部图像。每张图片都标记有被拍摄人的名字,其中1680人在数据库中有两张或更多不同的照片。这些人脸的唯一限制是他们能被Viola-Jones面部探测器检测到。
网址:http://vis-www.cs.umass.edu/lfw/
36. MultiPic
Duñabeitia等人建立的一套标准化的数据库,包括750张关于具体概念/物体的图片,该数据库已被标准化为6种欧洲语言(西班牙语,英国英语,荷兰语,意大利语,法语和德语)。
网址:
http://journals.sagepub.com/doi/full /10.1080/17470218.2017.1310261
37. Ryerson情绪语音和歌曲视听数据库(The Ryerson Audio-Visual Database of Emotional Speech and Song, RAVDESS)
由Livingstone&Russo建立。RAVDESS(开放式访问数据库)包含7356个文件。每个文件的情绪有效性,强度和真实性被评价10次。评分由247个人提供,他们是来自北美的未经训练的成人研究参与者。另外一组72名参与者提供了测试-再测数据。该数据库有很高的情绪效度,评估者间可靠性以及测试-再测内部可靠性。
网址:
https://zenodo.org/record /1188976#.W6DnZc77S00
38. Perceived emotion genuineness: normative ratings for popular facial expression stimuli and the development of perceived-as-genuine and perceived-as-fake sets
“对流行的表情面孔材料的常模评分,感知为真实和感知为虚假的面孔集合的建立:重要!对所有您喜爱的数据库中面部表情材料进行评分,以便您可以识别哪些表情材料表达了真实的情绪。有关数据,请参阅其补充材料。”
网址:
https://www.ncbi.nlm.nih.gov/pubmed/27928745
39. 剑桥面孔-声音材料集(Cambridge Mindreading Face-Voice battery)
面孔和语音动态情绪/心理化材料。样例见这里!
网址1:
https://aspietests.org/facevoicefaces/index.php
网址2:
http://www.midss.org/content/cambridge-mindreading-face-voice-battery
40. 动态(情绪)面孔数据库(Dynamic Emotion FACES Database
morphed videos,n = 1026,由年轻、中年和老年人展示自然的情绪面孔表情(中性、悲伤、厌恶、恐惧、愤怒,高兴)。由健康成人(n = 1822,年龄范围18-86岁)对每个视频显示的表情进行分类,并对情绪独特性、面孔模型的年龄、情绪的自然性进行评分。
网址:
http://faces.mpib-berlin.mpg.de
网址:
https://www.tandfonline.com /doi/full/10.1080/02699931.2018.1445981
41. Ryerson情绪语音和歌曲视听数据库(RyersonAudio-Visual Database of Emotional Speech and Song ,RAVDESS)
语音和歌曲动态视频和高品质的声音,展示了几种情绪。
网址:
https://smartlaboratory.org/ravdess/
可能存在无效的链接,质量差的材料,但有很多选择和更多细节,特别是如果对自然的材料和大量的材料感兴趣。
42. EPAC Lab's "FACE STIMULI (mostly)"
网址:
http://www.epaclab.com/face-stimuli
43. Face-rec.org
网址:
http://www.face-rec.org/databases/
44. MIT.... someone named Meyers?
网址:
http://web.mit.edu/emeyers /www /face_databases.html
45. Base Dataface
这是一个google表格,含有很多细节。在我看来,信息过于多了,但是你可能会需要(例如,图片质量、大小、颜色、种族、性别、视角,等等)。
网址:
https://docs.google.com/spreadsheets /d/1t6eZ2PQOe0XMZf6suesCeFqgQSjv1-CX5e2HqIU9PsY /edit?usp=sharing
46. PsychWiki
网址:
http://www.psychwiki.com/wiki /Archives_of_data_and_stimuli
47. CogSci.nl
网址:
https://www.cogsci.nl/stimulus-sets
48. Emotion-research.net
也包含多个模特(声音+面孔,声音)。
网址:
http://emotion-research.net/wiki/Databases
49. Sterling database
网址:
http://pics.psych.stir.ac.uk /Other_face_databases.htm
面孔变换/变形和平均工具
1. JPsychoMorph
网址:http://users.aber.ac.uk/bpt/jpsychomorph/
2. WebMorph
网址:https://www.webmorph.org//•FantaMorph
3. FantaMorph
网址:http://www.fantamorph.com/index.html
4. FaceResearch.org
网址:http://www.faceresearch.org
5. Morpheus Photo Morpher
网址:http://www.morpheussoftware.net/
6. Star GAN
用python 改变面孔身份/类别/情绪等。
网址:https://github.com/yunjey/StarGAN
7. InferFace
扭曲、重塑、平均、变换、PCA面孔空间提取。这是一个免费的,可下载的,独立的应用程序(基于Matlab,但是你不需要Matlab来运行它),它可以让你对面孔材料进行各种各样的操作。软件包包括一个软件指南,示例图像和一个Matlab转换器(如果你没有Matlab)。
文献: Kramer, R. S. S., Jenkins, R., & Burton, A. M. (2016). InterFace: A software package for face image warping, averaging, and principal components analysis. Behavior Research Methods. Advance online publication.
网址:
https://www.york.ac.uk /psychology/interface/
8. Lots of other free/worse online tools (just google)
网址:
https://www.quora.com/What-are-some-websites-where-you-can-morph-two-faces-together
电脑生成面孔/身体
9. FaceGen Modeller
网址:https://facegen.com/modeller.htm
10. FGBinTools
“Python脚本,用来读取和输入到FaceGen面孔空间坐标和维度” Ron Dotsch;例如,见 Oosterhof & Todorov, 2008 - PNAS, "The functional basis of face evaluation.
网址:http://www.rondotsch.nl/software/
11. MakeHuman
网址:http://www.makehuman.org/
12. BodyVisualizer
网址:http://bodyvisualizer.com/
13. BodyLabs
网址:https://www.bodylabs.com/body-visualizer/
真实面孔转化成3D电脑生成面孔
14. FaceGen Modeller
注意!该软件可以提取面孔参数(例如,鼻子宽度、肤色,或者种族、年龄性别等特征。
网址:https://facegen.com/modeller.htm
15. 123D Catch
网址:http://www.123dapp.com/catch
16. Agisoft
网址:http://www.123dapp.com/catch
1. 重新采样工具(Resampling tools)
这些工具有助于估算需要多少评价者可以获得稳定的面孔评价(可信度、性别等)。
一个是Hehman等人的“重采样工具”。
网址:https://osf.io/mwtuz/
另一个是Lisa DeBruine关于面孔估计所需要被试量的R代码。
网址:https://debruine.github.io/raters.html
2. Photoshop
GIMP(PS的开源替代品)也可能具有PS的功能,但最重要的是ACTIONS。学习如何使用它们,这非常容易,没有学习曲线。与excel宏一样,您可以记录您的操作,然后在图像文件夹上批量执行该操作。因此,使用魔杖工具移除或更改背景,或使用选框和羽翼在脸部周围渐晕,可以记录一次,然后运用到200个材料上;亦或是把面孔变成灰度图,或是更改图像大小、裁剪,它会为您(或者您的 研究助理)节省很多时间。您还可以使用诸如图章和模糊之类的工具来完成更高级的图像处理,例如完善面孔变换和替换面孔特征。
网址:https://www.gimp.org
3. Autohotkey
对软件操作进行自动化。软件的学习曲线短(也就是可以快速上手)。您可以在计算机上自动执行任何遵循模式的内容(任何内容,例如,打开画板,绘制笑脸,然后通过电子邮件发送给您的同事)。该程序允许您将任何内容编入计算机输入 - 光标和键盘。这对FaceGen来说非常方便 - 你可以自动制作面孔材料,特别是面孔材料很多时(提示:使用tab和shift + tab轻松移动)。例如,开启facegen的随机模式,自动生成一个新面孔,然后移动滑块使面部更加男性化,然后保存,然后使其更加女性化,然后保存,然后使年龄更大,保存,更年轻,保存。将机械的操作进行自行化,可以给可怜的研究生/研究助理节约100+ 个小时。他们还有一个程序,就像photoshop和excel宏一样,记录你的操作,以帮助你编写脚本。
网址:https://www.gimp.org
4. Irfanview(windows)
Preview (mac)
在Windows上轻松进行批量图像转换。
网址:
https://www.irfanview.com/main_download_engl.htm
今天,从面孔材料集、动态面孔材料、面孔材料工具箱、实用小工具等四个大方面对面孔材料及其相关工具进行了一次梳理。
面孔材料集:CAS-PEAL人脸数据库、CFD等38个网站
动态面孔材料:剑桥读心面孔-声音材料集、动态(情绪)面孔数据库、情绪语音和歌曲视听数据库
面孔材料工具箱:面孔变换、变形和平均工具、电脑生成面孔/身体、真实面孔转化成3D电脑生成面孔
实用小工具:重新采样工具、Photoshop、Autohotey、Irfanview
此外,我也根据OpenScience的整理,再次整理了各类面孔材料及工具网站的电子版,在公总号后台回复“面孔材料及工具”,即可获得相应的总结大礼包啦~
小伙伴们也可以在留言区将自己使用的面孔表情库经验分享一下,和大家互相交流哟~
分享完毕,希望有所帮助。