查看原文
其他

有了谷歌新算法,再也不怕用广角镜头手机自拍了

算法爱好者 算法爱好者 2021-01-31

(给算法爱好者加星标,修炼编程内功

原创:算法爱好者(ID:AlgorithmFans)

什么是广角镜头?


也许大家知道,想要拍人数超多的集体照,需要用到广角镜头。为什么?


相对标准镜头来说,广角镜头的镜头焦距很短,视角较宽,而景深却很深,所以比较适合拍摄较大场景的照片。


广角镜头分为 2 种:


  • 普通广角镜头:焦距一般为 38~24mm,视角为 60~84度

  • 超广角镜头:焦距为 20~13mm,视角为 94~118度



广角镜头的缺点:近景失真


随着移动技术和智能手机的发展,广角镜头不再只出现于数码相机,有些手机厂商也发布了带广角镜头的手机。


虽然广角镜头的景深很深,但它有一个突出的缺点:近景会失真变形。


而且视场角(FOV)越大,失真越严重。


如果用广角镜头手机自拍合照,离镜头近的人,往往人脸会被拉伸、压扁或扭曲,与实际真人大相径庭。


比如下图,用 97° 视场角的广角镜头拍的集体照,左右两位小姐姐人脸都失真了。




还原失真人脸的新算法


前文提到的广角镜头近景人脸失真的问题,是谷歌一个研究团队的课题。最近该团队发布了一篇论文,介绍了一种不影响照片其它部分的人脸复原算法。


下面这张照片,就是他们用了新算法还原后的结果。



另外一个对比例子:



他们的算法思路


给定一个输入图像,计算出主题蒙版(subject mask),来为输入图像上的粗网格(mesh)分配每个顶点的权重。


然后,为了还原失真,他们算法核心是制定了一个支持面部顶点局部模拟立体投影的能量项。



输出图像结合了立体投影(stereographic projection)和透视投影(perspective projection)。能量函数支持面部边界上两个相互冲突的投影之间的平滑过渡。



他们通过测试 4000 多幅肖像的图像质量改进验证了算法,包括 1~10 人以上的合影,拍摄范围从 70° 到 120° FOV 不等的手机镜头。


此外,他们提出的算法是全自动的,可在移动平台上以交互速率运行。



介绍视频



该团队的成员:YiChang Shih、Wei-Sheng Lai 和 Chia-Kai Liang。


论文地址:

https://people.csail.mit.edu/yichangshih/wide_angle_portrait/#paper


至于他们的新算法,哪家手机厂商会率先使用,还是一个未知数。咱们拭目以待吧。



推荐阅读

(点击标题可跳转阅读)

新 deepfake 算法,更轻松修改视频讲话

南大周志华:第一批 AI 本科生,学的是“硬核课程”



觉得本文有帮助?请分享给更多人

关注「算法爱好者」加星标,修炼编程内功

好文章,我在看❤️

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存