计算机视觉研究突飞猛进，走向实用仍任重道远
现在计算机视觉也成为了人工智能科技公司研究的重要方向，而人脸识别成了重要的一个研究分支，但似乎得到过度关注的人脸识别是否是未来计算机视觉的发展方向？而在学术界的技术专家也在向工业界转型，学界与业界的关注点到底有什么区别？新技术不断涌现，身在技术圈的技术人如何看待这些新兴技术，想要投身于人工智能研究的年轻学者们应该从什么方向开始努力？
带着这些疑问，InfoQ采访到了中科院自动化研究所王亮博士，请他从他专业的角度来为我们解答。
王亮博士做过不少关于动作识别、步态识别的研究，这些技术大量应用在视频监控上。虽然研究者们在这些方面已经做了大量工作，近期也取得了较大的进展，但是在王亮博士看来，目前还远不能说当前的视频监控技术已经成熟。王亮博士做出了如下分析：
“事实上，我们算法所做的实验大多是基于受限环境下所采集的视频数据，这种数据一般来说是比较容易的，即背景简单、个体单一，而且没有较大的遮挡。
但是对于实际视频监控而言，视频中个体尺度各异、视频分辨率低、个体部分遮挡、拍摄视角变化等问题都会影响到算法的实际应用效果。此外，除了上面提到的个体识别以外，还有许多类型的群体识别，比如打架等异常行为检测、群体事件识别、人群密度估计、人群流向预测等。这些群体识别比个体识别更加复杂，存在的挑战和困难也更多。综上所述，现在视频监控技术还远远没有达到成熟的水平。”
在图像识别方面，李飞飞团队做的数据集ImageNet已经存在了很久，虽然如此，王亮博士认为它仍旧是比较权威、被广泛应用的数据集，尤其是在目标识别模型的性能评估方面。该数据集至少在很长一段时间还会被继续大量使用，因为除了应用在目标识别任务上，它还被广泛用于其它视觉任务，例如使用ImageNet数据集进行模型预训练。
在近几年，李飞飞团队又做出了新的图像与语言结合的数据集Visual Genome，香港中文大学唐晓鸥团队也做出了专注人脸识别的数据集WIDERFACE。这些数据集都是最近公开的新数据集。
客观来说，任何一个数据集的建立都会存在一定的不足，这取决实际任务需求和客观资源限制等诸多因素，例如一个可能的问题就是样本类别不均衡。当然，在客观世界中，可能实际样本分布原本就是很不均衡的，但是从模型训练的角度来说，我们通常希望样本能均衡一些，这样训练出来的模型不会偏向某些类别，进而不同类别的识别性能不会相差太多。
王亮博士举了一个有趣的例子：“ImageNet数据集中属于人这个类别的样本特别多，但关于鸵鸟类别的样本就比较少，这样训练出来的模型对于人的分类性能就比鸵鸟要高很多，这就是样本不均衡所导致结果。”样本不均衡的情况甚至会有一些极端的体现，“再比如，LFW数据集也存在比较严重的类别不均衡问题，属于一个类别的样本最多几百，而最少只有一个。”
无论是Visual Genome还是WIDERFACE，它们都是在特定的任务情况下把数据集做得规模更大、细节更多、潜在用途更多一些。
以Visual Genome为例，王亮博士为我们进行了讲解：
“Visual Genome数据集其实是对目标识别数据集进行了扩充，在原有只提供目标类别的基础上，增加多种其它标注信息，包括目标属性、目标位置、目标与目标之间关系、目标文字描述等。
这样的数据集除了可以应用于目标识别任务之外，还可以用于图像描述生成、目标关系预测、视觉问答等其它任务。所以，数据集这个方面肯定会越做越好，或许在未来一些规模更大、更普适的数据集会被提出。
但是，值得注意的是，现在做得较多的都是图像数据集，随着视频技术的快速发展，会对相关视频数据库产生较大的需求，所以希望以后会有更多视频数据集。”
标记数据的成本较高，而生活中大部分数据都是无标记的，要想充分利用这种无标记数据，需要应用无监督学习算法。
早期的玻尔兹曼机和自编码机都是自深度学习流行起来，无监督学习的应用成果。它们是以重构数据自身的方式或者生成数据的方式来对无标记数据的潜在真实分布进行建模。
王亮博士指出，无监督学习存在一个问题是，通过它学习得到的模型性能通常要比监督学习低许多。因为它相对监督学习来说，毕竟缺少大量标记信息，目前无法学习到非常具有判别力的特征表示。事实上，当前要做纯粹的无监督学习可能并不是特别现实，但如果能够利用少量的有标记数据辅助来做半监督学习，可能会比较可行一些。
对抗生成网络（GAN）是最近热度较高的一种模型。它的基本原理是它有两个模型：一个生成器，一个判别器。判别器的任务是判断给定图像是否看起来“自然”，换句话说，是否像是人为（机器）生成的。而生成器的任务是，顾名思义，生成看起来‘自然’的图像，要求与原始数据分布尽可能一致。
对于GAN，王亮博士说：“它的难点可能在于训练一个好的生成器比较困难，其训练过程通常并不是特别稳定。尽管WGAN的提出可以缓解这一问题，但是我们在一些实验上发现，其效果并没有原始的GAN好。当然，GAN及其相关模型才刚刚起步，潜力很大，其应用范围有待进一步拓宽。”
从CNN到GAN，神经网络模型在不断的进步，同时也影响到了计算机视觉的发展，王亮博士从视频技术的角度为我们分析了计算机视觉发展过程中的关键技术节点：
“2012年ImageNet竞赛上，使用了CNN的模型性能比传统方法提升了大概11个百分点。自此以后，CNN强大的特征学习能力在不同视觉任务中都得到了证明，而且刷新了当时很多任务的最好结果。
当时的基于CNN模型叫做AlexNet，这个网络只有几层，后来出现的CNN模型包括VGGNet、GoogleNet、ResNet等网络层数变得越来越深，从当时几层到几十层，进而发展到现在的几百层。事实证明，网络越深其学习到的特征判别力越强，所以每一个新型深度网络的提出都阶梯式地推动了视觉领域快速发展。
从CNN这方面来讲，AlexNet、VGGNet、GoogleNet和ResNet都是很重要的技术结点。
对于视频方面来讲，2011年出现的3DCNN可能算是它的一个初始技术结点，其后续被扩展成一般化的视频特征提取网络C3D。在2014年前后RNN、LSTM这样时序模型的大量出现，也是处理视频这种时序数据的非常重要的技术结点。”
计算机视觉毕竟是一个比较偏实际应用的学科，它的研究内容大多还是由实际应用来驱动的。有人认为现在做计算机视觉的公司太多专注于研究人脸识别这样的功能分支，为什么很多公司都在专注做人脸识别这样一个任务呢？
王亮博士这样分析：“个人认为肯定还是受市场需求导向所致的。事实上，人脸识别在很多领域都有应用需要，正是由于这些需求从而推动了很多人去做这样一个事情。对于计算机视觉几个核心问题例如语义分割等，也有实际需求在推动一部分人研究。比如最近无人机、无人车比较火，这些任务都需要视频场景解析技术，由此视频语义分割技术吸引了大家越来越的多注意，相应的研究人员数量自然而然会增加。”
而作为研究人员，王亮博士认为应该更多关注两个方面：
在计算机视觉算法的理论层面去做一些事情。比如，大家都知道现在计算机视觉的很多技术都是基于深度学习的，但是深度学习的基础理论目前还不是太清楚，相关研究也非常少，这也是它经常遭人诟病的主要原因。
因为大部分研究最终还是要为实际应用服务的。
计算机视觉领域越来越多的学术界的专家学者加入了工业界：香港中文大学的贾佳亚教授加入了腾讯优图，前几年Yann LeCun加入了Facebook，还有谷歌的Geoff Hinton等等。中科院也成立了自己的银河水滴科技，王亮博士作为该公司技术顾问，从自己的角度谈了谈学界与业界关注点上的区别：
学术界做研究是面向国际学科前沿，更多关注算法层面的研究问题，所以创新性会比较高一些。对于工业界而言，主要是以实际应用为导向，例如基于当前比较有效的一些模型算法，针对具体问题改进以达到实用的目的。因此，相对学术界来说，工业界做的东西可能比较偏实用、更工程化一些，但同时创新性也相对低一些。
在计算机视觉发展过程中，很多模型算法都是基于机器学习算法衍生出来的。包括大家所熟悉的深度学习，其前身是深度神经网络，也是机器学习算法的一种。
计算机视觉领域如何应用大数据呢？
“事实上，深度学习本身就是一种大数据分析模型，而且在计算机视觉领域已经得到很好的应用。”
王亮博士补充道：
“深度学习的一个最大的特点就是能够利用大规模数据集来训练出更好的模型，并自适应地学习用于不同任务的数据特征表示。ImageNet数据库相对于早期的PASCAL VOC数据库来说，它的数据集规模是非常很大的。深度学习包括CNN在该大规模数据库上训练出来的模型能够更好地进行目标识别，这一过程利用到了大数据规模大信息多的特性，使得模型能够挖掘到更有用的信息。”
目前深度学习和大数据两者的有机结合确实给计算机视觉领域带来了很多红利，但是这样的红利能够持续多久呢？王亮博士认为不好预测，但是可以肯定的是：深度学习和大数据的潜力可能还没有被充分挖掘彻底。
王亮博士以CNN为例进行了分析：
“深度学习中的CNN，最早是几层的AlexNet，后来到了十几层的VGGNet，然后到了几十层的GoogelNet，甚至到最近几百层的ResNet，每一次这些新模型出现的时候，我们都怀疑深度学习是不是已经到了极限了？我们的模型性能是不是不可能再提升了？但是每一次又确确实实得有更深、精度更高的网络被提出来了，并且每一次都不同程度地推动了计算机视觉领域的发展。所以，我们说深度学习和大数据应该还是处于上升发展期，其带来的红利可能还会再持续较长一段时间。”
王亮博士的建议有两点
我平时无论是招生、招人，通常最关注的都是三个方面，编程、英语、数学。编程是实现算法的基础，数学是理解模型算法的基础，而英语是用于文献阅读、与人交流、文章写作的基础。编程、数学和英语，这三个方面缺一不可。
这几年人工智能迅速发展，国内内容相关的高质量期刊或者会议论文层出不穷，但是真正在国际范围内产生巨大影响的工作还是相对比较少的。不能说大部分都是跟风，但是很多情况下我们只是在别人的基础上修修改改，原创性的工作并不多。所以，如果大家愿意加入人工智能领域的话，应当志存高远，争取做出一些原创有影响力的工作。
王亮博士
中国科学院自动化研究所研究员，博导，IEEE 高级会员、国际模式识别协会会士（IAPR Fellow），模式识别国家重点实验室副主任、中国图象图形学学会视觉大数据专业委员会主任、图像视频大数据产业技术创新战略联盟秘书长、中国计算机学会计算机视觉专委会秘书长、中国电子学会青年科学家俱乐部副主席。中科院百人计划入选者（终期优秀），国家杰出青年科学基金获得者，国家青年科技奖获得者。2004 年获中科院自动化所工学博士学位。2004-2010 年分别在英国帝国理工学院、澳大利亚莫纳什大学、墨尔本大学及英国巴斯大学工作。主要研究领域是模式识别，计算机视觉，大数据分析等。
“CSIG图像图形学科前沿讲习班”（Advanced Lectures on Image and Graphics，简称IGAL）是由中国图象图形学学会主办的高端学术交流活动，旨在促进图像图形学领域的青年工作者更好地了解领域内学科前沿，开阔视野以及提高学术水平，团结领域内的科技工作者。IGAL每期2-3天，每期围绕热点前沿专题，邀请业界知名的专家学者集中性地作学术前沿报告。
第一期讲习班将于2017 年6 月2日-4日在北京中国科学院自动化所举办，本期讲习班主题为“深度学习+视觉大数据”。
报名链接：http://www.csig.org.cn/igal