【源头活水】SCUT-FBP5500 人脸美学预测

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

作者：知乎—人工智能小班长

地址：https://www.zhihu.com/people/ren-gong-zhi-neng-xiao-ban-chang-78

SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction 论文解读

arxiv：https://arxiv.org/abs/1801.06345

github：https://github.com/HCIILAB/SCUT-FBP5500-Database-Release

快捷下载：本公众号后台回复【paper66】下载本论文

01

主要贡献

• 提出一种新的多元化基准数据集 SCUT-FBP5500，来实现多范式颜值预测。
• 该数据集共有 5500 个人脸正面照片，这些照片具备不同属性（男性／女性，年龄等）和不同标签（面部地标、颜值得分（1~5）、颜值得分分布）
• 使用不同的特征和预测器组合、不同的深度学习方法评估 SCUT-FBP5500 数据集

02

相关工作

03

具体信息

• 共5500张分辨率350*350彩色正面人脸，其中2000张亚洲男性，2000张亚洲女性，750张高加索男性，750张高加索女性
  
• 每张人脸标记有86个特征点，先用ASM模型给出68个特征点，再由志愿者手动调整并添加至86个
  
• 调查方法：
  
• 60名18-27岁（平均21.6岁）的志愿者
  
• 给随机展示的人脸照片打分（1-5分，越高越好看）
• 展示的照片中有10%会出现两次
• 如果某张照片的两次打分结果相关系数小于0.7，则需要第三次打分
• 最终得分为所有打分的平均分
  
• 分数分布，大致服从正态分布（黄色线）
  

• 标准差，都在0.6-0.7之间，亦即分数误差约为  

• 打分者之间的相关系数，其中对亚洲人种打分之间的相关系数比高加索人要高，符合人们更喜欢亚洲人的脸的这一心理研究结果

04

基准测试

4.1、传统算法（人工标注特征）

4.1.1、几何特征

以ASM-68模型提取的特征点为基准，定义18个距离特征

将上图中的18个距离特征组成一个18维向量作为输入，分别用线性回归、高斯过程回归、支持向量机三种方式来进行测试，采用10折交叉验证的方式进行训练， 测试效果用PC（皮尔逊相关系数）、MAE（平均绝对误差）和RMSE（均方根误差）来表示，结果如下图

其中可以看到，线性回归的效果要略差于高斯过程回归和SVM，后两者相差无几，但0.67的相关系数还不够好

4.1.2、表观特征

使用包含5个尺度、8个方向的Gabor滤波器对图片进行滤波，得到40张特征图，使用两种采样方式来对这40张特征图进行采样：

• 对86个特征点进行采样，组合成$86*40=3440$维向量（文中3340应为笔误）
• 按64UniSample的方式进行采样（详见下图右），组合成$64*40=2560$维向量

采样完成后使用主成分分析法来对输入向量进行降维，同样采用10折交叉验证的方法来进行训练，结果如下图现实：

4.2、深度学习算法

使用AlexNet、ResNet-18和ResNet-50三种CNN来进行测试，均采用经过ImageNet预训练后的权重，其中AlexNet在最后添加两层卷积层来进行预测，ResNet则在最后加全连接层来进行预测，详情见此(https://github.com/HCIILAB/SCUT-FBP5500-Database-Release/blob/master/trained_models_for_pytorch/Nets.py)

训练方法采用5折交叉验证和60%训练-40%测试的方式拆分数据集，结果如下：

可以看出，使用5折交叉验证的方式结果比拆分数据集的方式要好，其中一个原因可能是训练数量，5折交叉验证使用了80%的数据来进行训练，比60%有更多的数量和多样性

05

总结

• 该数据集相较以前的数据集有更清晰的分类，更丰富的人脸库，还提供了特征点标注信息，使用者可以自由选择自己喜欢的学习模型来进行训练，避免了以前一个数据库只能用一种方式训练的尴尬情况；
• 由于时间的关系，文章作者只测试了最基本的三种CNN，后续可以尝试更多的颜值检测算法在该数据集上
  
• 但该数据集没有有色人种，可能存在伦理问题

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！