CCAI专访 | 杨强教授谈深度学习泡沫、迁移学习机遇与人工智能入门
文 | 胡永波
7 月 22 - 23 日，由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办，CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会（CCAI 2017）将在杭州国际会议中心盛大开幕。
作为大会主席，香港科技大学计算机与工程系主任、AAAI Fellow 杨强教授最近接受了大会记者专访。这次访谈干货满满，其中有不少话题是杨强教授首度公开谈及，比如下一个 AI 突破口、深度学习泡沫、AI 之路心得、本科生入门 AI、好学生要能教导师学习，等等。
访谈期间，杨强教授特地回顾了去年 8 月份在北京举办的 CCAI 大会，他认为去年的一大特点就是“脑机结合”：既有很多计算机领域的专家，又有不少大脑神经领域的专家，特别是深度学习的反向传播算法对于大脑神经领域的启发，让人们体会到了领域互通、互相交流的重要价值。
同时，还有 AI 学界与产业的交流碰撞：很多工业界的人来自学界，很多学术界的人也有工业经验，还有很多公司来展示他们的应用和场景。去年，微信带来了它的小微机器人，这是一个很大的应用场景，它于不久前正式上线。那么，今年在杭州，是阿里巴巴的主场，它的 AI 场景非常好，金融和电商的大数据非常有特色，这里面的应用展示，就比较让人期待了。
诚如教授的观察，阿里有着很好的 AI 应用场景。可惜等不及大会开场，它的 A.I. Labs 就已经发布了一款类似于 Amazon Echo 的智能音箱，这让我们对阿里在 AI 领域的拿手好戏就更加期待了。不过，关于智能语音交互、自然语言处理对人工智能研究的促进作用，我们可以先听听杨强教授在专访中的说法。
我们的访谈，就从杨强教授为今年大会所准备的演讲开始，我们先来了解一下为什么迁移学习对于深度学习这么重要：
CSDN：在今年的 CCAI 大会上，您分享的主题为“深度学习的迁移模型”，您希望此次演讲能够为听众带来怎样的启发，能帮助他们解决当前在人工智能领域哪些共性问题？
杨强：我先从共性问题说起。人工智能模型现在主要以深度学习模型为主，深度学习模型现在在语音、图像、推荐等领域已经非常有影响，但是在医疗、教育和日常生活的很多领域，它还用不了。
这里面主要有三个原因：
因为我们所遇到的数据往往都是小数据，而不是大数据。比如说，我们手机上的个人数据，这是小数据；我们在教育、医疗、基因的检测与实验、学生测验、客服问答上的数据，往往也都是小数据。所以，实现从大数据向小数据迁移的通用模型，就能帮助更多的领域用上人工智能，这是人工智能的普及性问题。
深度学习模型非常脆弱，稍加移动、离开现有的场景，它的效果就会降低。所以，可靠性是一个重要问题。对机器学习来说，由于训练数据跟后面的应用数据会有区别，训练出来的模型被用于处理它没有见过的数据时，效果就会大打折扣。而缓解这一问题的办法，正是迁移学习，它能把可靠性提升一个台阶。
应用上的问题，特别是机器学习模型、应用的个性化。比方说在手机上，在推荐信息、服务的时候，它要适用于个人的行为。因为任何个人的数据都是小数据，个性化的问题就是如何把云端的通用模型适配到终端的小数据上，让它也能工作。这就是迁移学习比较适合的事情，帮助机器学习从云端往移动端迁移。
迁移学习是深度学习的继续
CSDN：具体到迁移学习本身，您是这个领域的开拓者，但对它的原理，我们比较难解的一点是：为什么专门优化一种任务的参数，在处理另一种任务时依然能有优越的表现？
杨强：这要从几个方向来思考。
第一，我们知道，深度学习的特点是用非线性把原始的特征从低层转化成高层，这个过程很复杂，它好处有目共睹，但副产品是特征分层。现在我们发现，这个层次对于迁移学习却是有好处的。它的一个好处，是能够对迁移学习的效果进行量化。也就是在不同的迁移目标下，知识从一个领域到另一个领域，不同的层次能迁移多少是可以定量的。
过去我们智能笼统地说能不能迁移，但现在我们可以精确地说哪一部分可以迁移，哪一部分不适合迁移。所以说，不是说所有的参数都能迁移，是有一部分的知识可以迁移，是一部分的参数、一部分的特征可以共享。
第二，有些参数负责描述一个领域的内容，有些参数负责描述一个领域的结构；结构的概念比较逻辑、高层、抽象，内容的概念比较细节、具体，那么描述结构这部分的参数就特别适合迁移。所以，我们现在还在寻找一种能把结构和内容区分开的模型，一种类似于深度学习的模型，从而把可迁移部分和不可迁移部分定量地分开。
第三，当几个不同的任务一起来学习的时候，往往会有一些惊人的发现，一些惊喜，这就是多任务学习。多任务学习往往会发现不同的领域所共有的这些知识，往往很容易抽象出高层的知识，也就很容易用来表达不同领域之间的共性。所以，多任务学习和迁移学习的目标是一致的，都是要实现比较稳定的知识表达，殊途而同归。
此外，我们还可以把迁移学习本身看成是一个学习任务。这就好比是我们的终身学习，每一次学新的任务时都能回想过去的经历，能够用来做迁移的就用来做迁移，而不是说这次学完下次从头再学……这种终生学习和学习如何迁移的系统，是我们现在的一个研究项目 ，就是 learning to transfer。
CSDN：关于您本人，您正在做的 AI 工作，可否详细谈谈？您现在的时间都用在哪些难题上？
杨强：第一个方向，主要是要发现一个领域的知识有哪一部分是可以迁移的，能够迁移多少，这是对迁移学习的一种定量描述，从理论上、实验上都要做研究。
第二个方向，是用多个系统来进行迁移学习研究，用一个系统来观察另外一个系统做迁移学习的过程，这可以学会迁移的方法论，就是学习如何迁移。
第三个方向，是用一些新的机器学习的手段来帮助迁移学习，比如说 GAN，也就是我们所说的生成式对抗网络，用它来模拟一个领域的数据：这种多个系统，一个用来领域区分，一个用来做数据产生，让两者互补，最后形成一个能够迁移的效果。现在我们发现这是非常有用的。
第四个方向，是我们想找一些应用面很广同时又很难的领域，比如说自然语言处理、自然语言对话等，能够通过迁移学习实现个性化的应用和实验场景。
CSDN：如果迁移学习的这些难题得以解决的话，能对深度学习、人工智能领域产生什么样的影响？
杨强：深度学习的一个自然发展，就应该是迁移学习。
因为迁移学习能让深度学习变得更加可靠，还能让我们理解深度学习的模型。比方说，我们就可以知道哪一部分特征比较容易迁移，这些特征所对应的就是一个领域比较高层、抽象的一些结构型概念，把它们和细节区分开，就能让我们对这个领域的知识表达形成一个很深的理解。
这样，机器学习就可以像生物神经系统一样终生去学习，不断地对过去的知识进行总结、归纳，让一个系统越学越快，在学习过程中还能发现如何学习。
等深度学习有了一定的发展后，迁移学习就有可能实现这一点，让算法不再仅仅运行指定的学习任务，而是能举一反三，变得比以前更加通用。
深度学习存在泡沫，但不必特别担心
CSDN：对于深度学习的前景，许多学者认为它存在泡沫，您对此是何看法？请您从迁移学习的角度谈一谈，深度学习如何才能更上一层楼？
杨强：深度学习还有好多事情可以做，但我觉得，大家说泡沫可能也有它的道理。
现在有好多会议，计算机视觉也好、深度学习也罢，动辄都是好几千甚至上万的投稿，这可能是泡沫最具体的表现。它的本质，就是大家同质化很严重，都是只有一点点的提高，这就有点像是论文机器：大家不是更关心去创新，而是更关心去写论文，如果没有新的东西做出来，这个领域逐渐就会被挖空了。
这可能是任何一个领域能发展起来的必经之路，当年的互联网也经历过泡沫。但是，当泡沫破裂以后，就有好多好的东西留下来了，像我们今天看到的腾讯、阿里、Amazon、Google 就是当年留下来的这些好东西。所以，我觉得大家不要特别担心泡沫。
在现在的这个场景下，随着计算能力的增加，我们去寻找新的方法，就能够让深度学习变得更可靠、更广泛。迁移学习不是唯一的方法，比如逻辑学就有很多推理的方法，但它还没有像深度学习一样跟神经网络联系起来。所以，大家不妨花一些时间去研究，如何从一个深度学习的模型抽象出知识，如何让知识更容易扩展到别的领域，这里面还是有很多可以做的。
自然语言是个突破口
CSDN：说到可以做的东西，这是深度学习接下来的发展方向。过去十年是监督学习在驱动整个领域的发展，但深度学习最近的成果，在无监督学习、强化学习和迁移学习的方向上都比较火……按照您的理解，深度学习最有可能的发展方向会是哪个？原因是什么？
杨强：我觉得有几个方向。
第一个是快，深度学习的训练现在还是一个问题，解决这个问题除了再做新的算法，还有就是要在系统架构上出现突破。像现在大家都在研究的参数服务器、底层的各种服务器架构，这些都是很好的方向。所以在计算速度、训练速度上如何加快，这非常重要。
第二个是可靠性，就是我前面说到的，能不能把迁移学习很容易地推广到一些它没见过的小数据领域。
还有就是要在新的领域去尝试。毕竟当前的深度学习领域相对都比较结构化，比如图像领域的基本结构是像素，语音领域的基本结构就是声波频率……那么到自然语言领域，其实就五花八门了：我们有句子、有文字，一个文字还有多种意思，还有上下文，我们对于文字的理解应该说是人和动物一个根本的区别。
如果把这区别视为人工智能的下一个突破口，可以想象，我们现有的 RNN、LSTM，还有比较复杂的 Turing Machine，可能仅仅是一个开始。让机器能有一个比较复杂的表征，这里面有很多自然语言的问题，我们今天还克服不了。
这就是为什么今天我们还没有一个能跟我们自由对话的机器人，我们还不能让机器来替我们读书、读报，这个领域就是机器阅读，Machine Reading。我们还不能够让机器去读一堆金融界的财报，然后给我们画出一些表格来，这个还是需要人才能做到。
所以，这么去想的话，我们确实还有很多工作需要去做。
CSDN：说起复杂的自然语言，您觉得像 Amazon Echo、Apple HomePod 这类智能语音助手的出现，对于 NLP 领域会不会有一个很大的推动作用？
杨强：对，这是我们见到的一些最新的，通过自然语言和深度学习取得的成果。这个成果也告诉我们几件事，就是自然语言要取得成功，至少现在还不可能做一个通用的自然语言系统，所以一定要注意场景。
Echo 就是找到了一个它非常擅长的场景，并且很适合欧美文化，像是在 Living Room、Kitchen 这样的地方，大家一般所问的问题的类别都是固定的。所以，场景对一个垂直型的机器学习是非常重要的。
另外就是，这种应用的另一个特点是它有很多别的技术，跟人工智能垂直的技术。比方说，硬件方面，它通过 stereo 系统能够知道人是不是在跟它讲话，然后它就能把自己唤醒。像这些我们看上去很小的东西，如果它能做得非常可靠，超过人无意中设下的那条基线，这种人工智能、自然语言的服务才有可能实现。
所以，过去我们可能看到很多公司都一股脑地去做这种对话和服务机器人，但真正能过这条红线的却很少，这也就是为什么我们还没看到一个大面积成功的应用。
然后，像你刚提到的深度学习、强化学习和迁移学习，其实这几个现在的趋势，是它们有一种分久必合的迹象。其实，深度学习可以用来做迁移学习，迁移学习也可以用来扩展深度学习，这也是我这次讲演的一个主题。
CSDN：关于“迁移学习”，Google 最近发布了一篇新论文 “One Model Learn Them All”，有人评论它是标题党。您怎么看 Google 在“迁移学习”上的投入？
杨强：对，这篇论文我有大致扫过一眼，还没仔细看。它的大概意思，就是说一个 Model 可以去学不同的领域，是一个多任务的研究。（据我所知）这个技术在之前应该是研究过很多了，那它这次具体有什么新意，我觉得我们还可以再去看一看。
但是我觉得，既然大家比较重视，这就是一件好事。所以这种标题党，它的形象和影响应该是正面的，就是让大家更多地关注迁移学习和多任务学习这样的任务。
不能总是学过时的东西
CSDN：上面 Google 的这个研究中，有一个本科生的表现特别抢眼。对于研究生、博士生如何做研究，您那本书《学术研究，你的成功之道》给出了详尽的指导；那么，对于刚刚步入大学校门、想要接触人工智能的本科生，您对他们的建议或者期望是什么？
杨强：其实，本科生是有很多空间可以做研究的，我们说的可以是计算机系，也可以不是计算机系。
应该说，人工智能的一个特点并不是说会处理语音、图像就完了，它的目的不是一个技术接口。人工智能的最终目的是把我们人类的任务自动化，把人类认为重要的任务自动化，并且它的做法可能完全不沿着人的那套做法、那套方法论去做，而是自己通过机器学习来发现一套新的算法，但是它所做到的事却是我们人类花了 4 年、8 年的时间进行训练才能完成的一件事。
所以对本科生的一个期望就是，如果你想让你的知识不过时，那你就应该去研究学习的方法、去研究研究的方法，然后去研究如何能够让一个机器来做你想做的那个实验、你想读的那本书、你想推导的那个公式，而不是满足于自己会做、自己能得 100 分、自己能够写论文就完了。所以这里面有一个要求，就是一个学生有没有迁移能力，其实也就体现在他有没有能力指挥机器来做我们过去只能让人来做的事情。
CSDN：这就是说，其实您是支持咱们本科生去接触更深的知识，主动去用它们，然后去做出一些成绩来？
杨强：对，其实我觉得，现在的本科教育已经落后于时代了。就是说，本科把学生圈在校园里，让学生去选一些课，然后耗费 4 年的时间却不去接触社会、不去接触问题，这样就把学生从 18 岁到 20 多岁的人生给耽误了。
我觉得现在应该有一种新的学习方法，尽管还没有被发明出来，但我有这个感觉，就是一个学生如果有能力的话，应该多去接触一些能够让你成长的东西，尤其是计算机专业的学生。不仅你要这样想，你还要能指挥计算机也这么去做，这样一个学生在毕业的那一年才会不觉得过时。
好学生要能教导师学习
CSDN：说到学习人工智能，您的学生戴文渊先生在 AI 行业的成就有目共睹，在培养这样的学生上，您有什么独到的心得？
杨强：我觉得好学生和坏学生的差距不是考试。我有很多学生其实挺让我捉急的，就是他们太重视考试了，如果是在考试的期间，他们就可以把什么都扔下了。我觉得这样的学生整个是错误的，他是在为考试而活，就像我刚才说的，考试就是考一个人的固定知识，而不是活的东西。
我也有好多像戴文渊这样的好的学生，他们本身就不是很重视这样的考试，但他们出来以后却能很优秀，是在于他们有很强的组织能力、有很强的领悟性，再加上他们也能吃苦、又很主动、还很有团队精神。所以，重点应该是学习和发展这方面的能力，我是比较希望能招到这样的学生。
所以，有的时候面试学生，我总是去问他们说，“你能教我什么东西？”而不是去说“我作为老师能教你什么东西？”我希望我能从学生身上学到东西，其实这两年我学的东西，有很多都是从学生身上学到的。
CSDN：所以选择这样的优秀学生，其实是一种双赢，您自己也是愈战愈勇。
杨强：对，要站在巨人的肩膀上。
做AI一定要有真实的场景和数据
CSDN：对于程序员转型 AI，您有什么好的建议能让大家少走弯路呢？比如说学习路径，有的建议可能是从数学开始，然后一步一步就跟搞学术的学生们一样；有的建议则是直接动手，直接来操作这些现成的模型……在您看来，哪种方式更为合适呢？
杨强：多动手是非常重要的。比方说看了一本书，讲概率论的，它不是看完就完了，而是说要动手去推导公式、做习题。如果是做一个机器学习比赛的话，一定要动手去写程序，或者修改其他人的程序。所以，这种肯动手是学习的一个必要的途径。
然后就是学习的时候，要有一些主动性，要经常问问题。我们常说，能问问题要比能解问题来得重要。所以，要多问问题，即使一时得不到答案。现在，有很多地方，像知乎、Quora，像 Google、百度，都可以去问问题，所以现在这些条件要好很多了。
CSDN：聊了这么多关于 AI 的学习，对于您自己在 AI 领域的学习和研究，对您最有帮忙、让您领悟最深的一点是什么呢？
杨强：对于工作和学习，我觉得离不开实际的场景和应用。我最怕的就是做一些很虚无的东西，最后却发现不重要。所以在香港科大，我引入了很多工业界的伙伴，比如微信。我们用的很多数据，都是真实的数据，像智慧城市、交通等等。
所以看到真实的问题，我是非常高兴的。如果好久都没有碰到，那我就心里发慌，我最怕自己花的时间是在做一个虚构的、假设的问题上。做 AI 一定要有真实的场景和真实的数据。
但做到这一点非常难，因为既有场景又有数据的情况不多，可能还要经历“成长的痛苦”。
什么叫“成长的痛苦”呢？就像互联网金融，可能有上千万的人来用你的服务，但你不可能雇上万的人来回答问题，这就是成长的痛苦。这种情况就逼着你去想，怎么样才能把这个数据留下来，训练一个机器人来回答这些问题。
如果我们平时遇到的问题没有这个痛点的话，我们也就不会想到去做这件事。所以我觉得，去寻找真实的人工智能场景和真实的数据，需要有一种灵感，同时也要有这种勇气。所谓灵感，就是能看出来这个领域以后有可能被机器取代，那么我们现在就刻意地去采数据、标数据、留数据；所谓勇气，就是标数据、采数据这个事，肯定一开始在费用和支出上是要大于收益的，是很艰苦的、一开始都没有人叫好的工作。所以，我觉得这两方面都是需要这种眼光的。
其实，人工智能现在的呼声远远大于我们现在的数据和场景，应该正好反过来，应该是场景和数据大于人工智能的这些宣传、这些生意。我们应该去做实事，就是标数据，然后建立场景，然后找模型。
最后，杨强教授谈到了他对本次大会的期待。特别是他最为期待的演讲，是 AAAI 前主席 Thomas G. Dietterich 的压轴讲座，他是一个机器学习造诣很深的学者，前瞻性也非常特殊。还有一个是澳大利亚学者 Toby Walsh 的演讲，他最有影响力的地方是针对 AI 社会责任的呼吁。另外，还有前来参会的 LSTM 的创始人等，这一点在国际上都比较少有。
中国人工智能大会（CCAI），由中国人工智能学会发起，目前已成功举办两届，是中国国内级别最高、规模最大的人工智能大会。秉承前两届大会宗旨，由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办，CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会（CCAI 2017）将于 7 月 22-23 日在杭州召开。
作为中国国内高规格、规模空前的人工智能大会，本次大会由中国科学院院士、中国人工智能学会副理事长谭铁牛，阿里巴巴技术委员会主席王坚，香港科技大学计算机系主任、AAAI Fellow 杨强，蚂蚁金服副总裁、首席数据科学家漆远，南京大学教授、AAAI Fellow 周志华共同甄选出在人工智能领域本年度海内外最值得关注的学术与研发进展，汇聚了超过 40 位顶级人工智能专家，带来 9 场权威主题报告，以及“语言智能与应用论坛”、“智能金融论坛”、“人工智能科学与艺术论坛”、“人工智能青年论坛”4 大专题论坛，届时将有超过 2000 位人工智能专业人士参与。
目前，大会 8 折优惠门票正在火热发售中，扫描下方图片中的二维码或点击【阅读原文】火速抢票。