Microsoft Pix：iPhone相机的智能大脑
Josh Weisberg是西雅图海鹰队的专业摄影师。“有时为了抓拍一个精彩的掷球动作，你可能得绕着球场狂奔、不停的拍，都不一定能捕捉到最佳瞬间。”他解释道，“我们都想用智能手机记录下孩子、朋友或是自己的精彩影像。每次按下快门时，都希望能定格美好瞬间。但结果往往差强人意，不是眼睛闭上了，就是脸糊了，或是眼睛看错了方向，甚至是面无表情。”
Weisberg还是微软计算摄影组里的首席项目经理。为了避免这些遗憾，Weisberg和同事们新近为iPhone发布了一款集成专业摄影师技能的拍照应用，Microsoft Pix。
每次启动快门，Microsoft Pix会连拍10张照片，然后通过AI选取其中最好的三张，并利用整套照片的数据进行降噪处理，智能调亮肤色、美化皮肤、微调照片色彩和色调。最重要的是，这一切只需要一秒钟就能完成。
除了自动挑选、美化照片，Microsoft Pix还能通过一套算法计算将照片里的动作转换成一条有趣的循环短视频，比如头发随风飘动、背景里倾泻而下的瀑布。Microsoft Pix能将特定动态融合进静态画面，制作出哈利波特式的Live Image。
Weisberg说，开发这一功能是受了妻子的启发，她总在抱怨用iPhone给两个孩子拍照时的画面质量。
“手机几乎对主人无所不知，为什么就拍不好照片呢？”
凭借对微软计算摄影技术的深入了解，Weisberg看到了一个为智能手机摄影“创造许多附加价值”的途径。
Microsoft Pix的界面很简洁，没有模式或设置选择，应用后端的几个工具就能帮助用户拍出更好看的照片。
“这款应用是为了那些不是专业摄影师、但喜欢拍照或那些希望拍出漂亮照片又不想花时间学技术的人打造的。”堪萨斯市尼康摄影学院的摄影顾问兼指导老师Reed Hoffman在试用了测试版之后这样评价Microsoft Pix。
在打开取景框后，Microsoft Pix就开始捕捉画面，并在曝光度和聚焦上进行智能微调。如果检测到人的脸部，Microsoft Pix就会围绕脸部开始进行优化。
https://v.qq.com/txp/iframe/player.html?vid=s032093f2qc&width=500&height=375&auto=0
“我们认为在镜头里，人是最重要的拍摄对象。”Weisberg说。比如，Microsoft Pix后台运行的算法之一是训练检测眼睛是否睁开。一系列照片中，眼睛睁着的照片被选中的可能性肯定会大一些。
微软研究院图像组的Neel Joshi解释道，睁眼探测器源自于面部识别技术，也就是许多智能手机用户在取景框里看到的面部周围的方框。他和同事们把Microsoft Pix中面部识别算法的侧重范围缩小到特定的面部属性，比如眼睛是否睁开。
“这是一个循序渐进的过程，研究院实现的每次突破都是基于长期的积累和不断的实践。”Joshi说，“这个过程包含了许多智能发现，Microsoft Pix项目本身就集中了微软研究院的众多研究成果。”
以Live Image为例，其前身是2011年Joshi牵头的一个由好奇心驱动的研究项目。当时，包含细微动态的静态照片刚开始在互联网上走红。那时的影像都是用带三脚架的照相机拍摄后在Photoshop上经过仔细编辑而完成的。
“我们希望用更方便的做法来实现这一功能。”他说。
最后的解决方案包括利用算法消除手抖影响从而无需使用三脚架，以及通过一组工具帮助用户在同一系列照片中划分出有趣的动态区域并循环播放。2012年的一篇论文中描述了这项技术，并发布了一款名为Cliplets的应用。
之后，图像组的研究员们开发出了能自动播放循环视频的算法，并先后在2013和2015年发表的论文中进行了描述。
循环视频自动播放是Live Image的代码基础，但Joshi注意到对于一个智能手机专用摄影应用来说，它运行得太慢了。
为了加快处理流程，他嵌入了分类器，仅处理那些由算法选定能生成有趣循环的内容，有选择地决定创建Live Image，以减少处理能力的占用并节省处理时间。例如，摆弄拇指、旗帜飘扬等重复、间歇性的动作适合循环播放，但手突然伸向某个方向则通不过分类器的检测。分类器仅需50毫秒就能检测到循环素材，按下快门2秒后就能生成Live Images。
与Microsoft Pix同时在手机上发布的还有Microsoft Hyperlapse，这是2015年Joshi开发的一项延时摄影技术。目前，该技术已陆续登录安卓、Windows 手机和iOS。利用图像稳定算法，Microsoft Hyperlapse能对延时拍摄的照片进行智能挑选，并保存最适合输出流畅视频的每一帧照片。
Microsoft Pix VS 普通相机
Joshi说： “这让冗长、无聊的视频变得生动有趣起来，分享也变得更加方便。”
Weisberg补充说，Microsoft Pix与iPhone相册集成，适用于iPhone 5S及之后的机型，所以用户不用购买新手机也能轻松拍出更好的照片。
当然，如果是以专业摄影师身份回到球场拍摄赛事，Weisberg仍会带上自己的专业相机和镜头。但如果是和家人、朋友外出游玩，他的智能手机已绰绰有余。
更多惊喜功能，长按下图，识别图中二维码，或点击阅读原文，即刻下载Microsoft Pix体验吧！