【美亚技术分享】第八期：人脸超分辨率重建技术简介

编者按

　　感谢美亚柏科控股子公司——武汉大千信息技术有限公司的技术专家给我们带来本期技术分享。

1 简介

在事件视频勘查的过程中，如果能够从视频文件中提取到一张具有辨认价值的人脸图片，对于案情的推进将起到决定性的作用；但在实际工作中，由于光照、天气的影响，再加之监控探头自身像素、焦内区域的限制，在视频中直接得到一个清晰的人脸快照，几乎是“不可能的任务”。

下图是发生在中部某城市的一个实际案例，在监控录像中我们发现：嫌疑人使用非常专业的手法，在数分钟内就成功窃取了一辆机动车，并且事发当地执法部门在一个月内接到数起类似报案，基本可以确定是同一伙人作案，这一系列事件在当地引起了不小的社会关注。

　　在这一系列事件中，嫌疑人具有较强的反勘查意识，每次都选择离监控探头较远的车辆实施不良行为，在视频中我们很难看清嫌疑人的长相，给勘查带来了很大困难。

在这类事件中，传统的图像处理方法无法对画面产生实质性改善，而如何在低像素图像中通过科学预测的方法绘制出高像素人脸图像，一直是学界的前沿研究方向。

2 技术路线

传统的图像处理技术，无论有多少种算法，其核心都是在已有的信息（像素点）上进行数学变换，不同的算法仅仅是变换方式不同，当实际画面信息不足（像素点不够）时，传统的方法做不到“无中生有”；人脸超分辨率重建技术核心是利用图像成份分析将输入的低分辨率人脸图像投影到低分辨率训练样本所张成的特征子空间中，基于高低分辨率流形一致性的假设，直接把投影系数映射到高分辨率图像上，加权得到高分辨率图像。

简单来说，就是利用计算机存储的庞大人脸库，对低分辨率目标人脸进行科学预测，通过高分辨率人脸素材进行融合重建，做成“计算机版的人脸画像”。

2.1技术难点：人脸样本库扩充表达能力

实际中无论高分辨率人脸库规模有多大，相较于全国乃至全世界数十亿实际人脸来说，都仅仅是一个小样本库，有限样本点只能构成高维人脸流形空间的一个稀疏空间，如何用一个稀疏空间解决全空间的问题，是目前学界的研究难点之一。

在我们的方法中，通过算法的优化，在小样本库中仍然可以获得很好的性能；与前沿流形学习人脸超分辨率算法相比，在CAS-PEAL-R1大规模中国人脸数据库上的PSNR提升1个dB以上，SSIM值提升0.080左右

2.2技术难点：图像块噪声鲁棒表示能力

违法事件多发夜间，嫌疑目标人脸图像受噪声干扰严重。现有人脸图像块表示方法受强噪声干扰严重，导致图像块的表示不稳定。在突破第一个技术难点时，我们解决了小样本库表示全样本的问题，但同时我们知道，纯学术研究中并未考虑到实际环境中噪声对样本稀疏表示的干扰，所以我们第二步要解决的就是克服实际视频中噪声带来的干扰。

在我们的算法中，我们通过引入基于视觉先验知识的图像块鲁棒表示模型，通过建模的方式进行基于人脸图像位置块的高分辨率人脸预测合成，最终我们的算法在重建效果上较国内外同类算法有了很大 提升。

下图是一张星光摄像机拍摄的低照度、低分辨率人脸，使用国内同类算法和我们的算法进行增强后，增强效果对比十分明显

国内外同类算法

我们的算法

3 总结

在解决了小样本库预测问题和低分辨率样本偏移问题之后，我们的“计算机人脸画像”取得了实质性突破，并基于此研制专业的人脸重建产品，并在实际工作中发挥了较好的效果，通过各地的试用，在一系列案件中都发挥了良好的效果，下图是在几个实际案件中的处理效果：

前文中所提到的实际案例，通过我们的人脸重建产品，执法人员通过鼠标几次点击，在几分钟之内就绘制出了一个具有较强参考价值的清晰人脸图像，此事件依靠这张图像取得了突破性进展，并最终告破。

---

【美亚技术分享】推荐列表