自由微信 | FreeWeChat

查看原文

其他

谷歌人工智能10年之路

2017-01-02 全球创新论坛 学术plus

本文转载自微信公众号：全球创新论坛

来源：财经播报

✎ 编者按

机器学习，将会是谷歌一个重大的发展方向，而我们的未来，将会是一个机器学习和人工智能的未来。

作者为《连线》杂志前资深记者、美国在线内容平台Medium主编

卡森·霍尔盖特(Carson Holgate)正在受训成为忍者。当然，这里所指的并非日本的武术，尽管霍尔盖特拥有不错的武术功底，现年26岁的她是空手道黑带二段。但是霍尔盖特最新接受的是算法培训，她几周前加入这个项目，希望能够借此掌握比身体对抗更强大的技术，即机器学习。

作为谷歌安卓部门的工程师，霍尔盖特是参加今年“机器学习忍者”项目的18名程序员之一。在“机器学习忍者”项目中，谷歌通过类似“安德的游戏”方式，从各个团队选拨有才华的程序员，向他们传授人工智能技术，以便提升所有产品的智能化程度，尽管这有可能让他们开发的软件变得更加难以理解。

负责管理“机器学习忍者”项目的谷歌内部机器学习产品经理克里斯汀·罗伯森(Christine Robson)说：“机器学习忍者计划的口号是：你想成为机器学习忍者吗？我们从谷歌各个部门选拨人员，并将他们融入机器学习团队进行6个月的培训。在导师指导下，这些人可以参与部分相关项目。他们可以由此入手，从而掌握大量机器学习方面的知识。”

对于4年前拿着计算机科学和数学学位来到谷歌的霍尔盖特来说，这是掌握软件行业最热门技术的机会：利用学习算法和海量数据，教授软件完成任务的方法。多年来，机器学习都被视为高度专业的领域，仅有少数精英人士才能够掌握它。但这种情况已经发生改变，最近的研究结果表明：由模拟生物大脑工作方式的“神经网络”驱动的机器学习技术是将计算机与人类能力真正融合的正确途径。在某些情况下，甚至可能打造出超人。

谷歌则希望扩大内部精英人才的数量，甚至希望让机器学习成为谷歌人人能够掌握的常规技术。对霍尔盖特这样的工程师而言，“机器学习忍者”项目是实现自我飞跃的绝佳机会，可以向精英中的精英学习。霍尔盖特言语间流露出敬畏之情，她说：“这些人正在开发令人觉得不可思议的模型，而且他们都有博士学位。”可是由于该项目将所有学员都称作“忍者”，所以她开始有些难以接受，但她最终克服了障碍。

鉴于谷歌庞大的员工数量，其总部中的6万名员工约有半数是工程师，所以“机器学习忍者”项目实际上规模很小。但是这个项目却象征着谷歌的认知在发生改变。尽管机器学习很早以前就是谷歌研发的重点技术，谷歌也始终在积极招募这个领域的专家，但直到2016年，谷歌才真正开始痴迷于机器学习。

2.5万名谷歌工程师艰难转型

在2015年末的财报会议上，谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）阐述了该公司的机器学习战略。他说：“机器学习是颠覆性的核心技术，可以让我们反思做任何事情的方式。我们希望将它应用于所有的产品中，包括搜索、广告、YouTube或Play。我们目前还处于发展初期，但你会看到我们以系统化的方式将机器学习应用到这些领域中。”

显然，如果谷歌要在旗下的所有产品中应用机器学习技术，就需要精通这项技术的大量工程师，而机器学习技术与传统编码截然不同。

谷歌机器算法项目负责人杰夫·迪恩(Jeff Dean)说：“越多的人通过这种方式思考解决问题的方案，我们就会变得越好。”迪恩估计，谷歌目前约有2.5万名工程师，但只有几千人精通机器学习技术，或许这个比例仅有10%。他希望最终精通机器学习技术的人能接近100%。在被问及这个愿望能否实现时，迪恩称“我们会尽力尝试。”

多年以来，约翰·迦南德里(John Gianandrea)始终都是谷歌机器学习的重要推动者，而作为该公司的风向标，迦南德里最近成为了搜索业务主管。他2010年加盟谷歌时，对机器学习和神经网络并不太了解。

但2011年左右，他被神经信息处理系统(NIPS)大会的消息所震惊。在每年的NIPS大会上，都有团队宣布利用机器学习技术取得的最新成果，其所涉及的领域包括翻译、语音识别和视觉系统等。迦南德里说：“许多令人感到惊讶的事情正在发生。当我首次关注NIPS大会时，感觉内容十分晦涩难懂。但在过去3年间，这个领域在学术界和产业界都取得蓬勃发展，去年大约有6000人参加大会。”

杰夫·迪恩，谷歌最权威的计算机科学专家，正在制作机器学习方面的工具，并领导相关团队。

这些神经网络算法在不断改进，再加上摩尔定律带来的强大计算能力，以及谷歌和Facebook等科技公司挖掘出来的庞大用户行为数据，机器学习的新时代由此拉开序幕。迦南德里也加入其中，他认为这项技术将成为谷歌的核心。与他志同道合的人还包括迪恩，他是谷歌秘密研究部门Google X神经网络项目“谷歌大脑”(Google Brain)的联合创始人。

谷歌发力机器学习并非简单地代表编程技术发生了转变，这项技术可能为计算机赋予迄今高不可攀的权力。实际上，这已经属于“深度学习”算法，它是从大脑结构中获取灵感围绕复杂神经网络建立起来的算法。“谷歌大脑”就属于“深度学习”努力，谷歌旗下人工智能公司DeepMind也在加入这个领域。DeepMind研发的AlphaGo击败了人类围棋冠军，打破了人类对智能机器性能的期望，同时也引发了人们对智能机器和杀人机器人的担忧。

尽管迦南德里不相信“机器会杀死我们”这样的预言，但他认为机器学习系统将成为革命性技术，从医疗诊断到无人驾驶汽车，各行各业都将利用这种技术。虽然机器学习不会取代人类，但它却会改变人类。

迦南德里以Google Photos为例进行了解释。这款产品的标志性功能是能够在图片中识别出用户指定的物品，这令人感觉颇为神秘，甚至有些不安。通过学习，电脑可“知道”边境牧羊犬的样子，而且可以识别出不同年龄和毛长的边境牧羊犬。

对于人类来说，这可能十分容易，但没人能够从数百万张图片中筛选出来这些照片，同时还能识别出不同的犬种，而机器学习系统就可以做到。如果它了解了一个犬种，便可使用相同的技术识别出另外9999个犬种。迦南德里说：“这才是真正令人感到新奇的地方。在这样狭小的领域，你甚至可以看到机器学习系统具备超人能力。”

进入热门产品

谷歌早已了解机器学习的概念，该公司的创始人就是强大人工智能的坚定信奉者。机器学习已经被应用到谷歌很多产品中，尽管并非总是采用最近热门的神经网络技术。

事实上，谷歌10年前就开始通过内部培训，向公司工程师传授机器学习技术。2005年初，当时负责谷歌搜索业务的彼得·诺维格(Peter Norvig)向研究科学家大卫·帕布洛·科恩(David Pablo Cohn)提议，希望知道谷歌能否采用卡内基-梅隆大学组织的相关课程。

而科恩表示，只有谷歌自己才能教授这种内部课程，因为谷歌的运营规模与其他公司都大不相同。所以他改造了谷歌总部43号楼一个大房间，每周三在那里开设两小时的课程。就连迪恩也参加过几次。

科恩说：“那是全世界最好的课程。作为工程师，他们都比我优秀得多！”这门课程非常受欢迎，几乎座无虚席。就连班加罗尔办事处的员工都会特意等到午夜之后，以便接入远程教学系统。

几年后，部分谷歌员工把授课内容制作成了短片，从而结束了直播授课的历史。但科恩认为，这门课程算得上是MOOC(大规模开放在线课程)的先驱。在随后几年，谷歌还针对机器学习培训展开了其他尝试，但这些尝试缺乏条理性和连续性。科恩2013年离开谷歌后，机器学习突然间成为谷歌关注的重点领域。

但在2012年以前，机器学习课程的重要性还未获得充分认识，直到迦南德里决定“吸收大量从事这项工作的人”，并将他们安排到同样的办公楼之后。始于Google X部门的“谷歌大脑”也加入进来。

迦南德里说：“我们吸收了很多团队，将他们安排到同一栋办公楼内，还提供了全新的咖啡机。有些人之前只接触过所谓的感知计算，即声音和语音识别等技术，而现在他们可以与那些从事语言研究的人共同探讨。”

越来越多地，这些工程师们开发的机器学习技术开始出现在谷歌的热门产品中。由于视觉、语音识别以及翻译是机器学习的主要领域，因此无需感到惊讶，这项技术成为谷歌语音搜索、翻译和Photos等服务的重要组成部分。更重要的是，机器学习技术将被应用到所有产品中。

迪恩表示，随着他和他的团队对机器学习的理解逐步深入，他们开始以更具野心的方式探索这项技术。

他说：“我们之前或许会在系统的组件中使用机器学习技术，现在则会使用这项技术替代整套系统，而非为每个组件设计更好的机器学习模式。”迪恩表示，如果现在让他重新编写谷歌的基础架构，其中的很多内容都不再是预先编好的代码，而是后期学习而来的。

格雷格·考拉多，谷歌大脑项目联合创始人，正在和多个团队协作，将人工智能应用到谷歌产品中。

机器学习还能够将原本无法想象的功能植入到产品中，比如2015年11月推出的Gmail自动回复功能。这个功能源自“谷歌大脑”项目联合创始人格雷格·考拉多(Greg Corrado)与Gmail工程师巴林特·米克洛斯(Bálint Miklós)之间的对话。

考拉多之前曾经与Gmail团队合作使用机器学习算法探测垃圾信息、归类邮件，但米克洛斯提出了更激进的建议：能否利用机器学习技术自动生成回复邮件，省去移动用户在狭小的键盘上输入文字的麻烦。

考拉多说：“当初我几乎惊呆了，因为这个建议太疯狂了。但我后来觉得，借助我们始终都在研究的预测性神经网络技术，或许可能实现。而在意识到这是一个机会的时候，我们就必须去尝试。”

为了提高成功概率，谷歌让考拉多及其团队与Gmail部门展开了密切合作，这种派遣机器学习专家进驻产品部门的做法如今已经越来越普遍。考拉多说：“机器学习既是科学又是艺术，这就像烹饪。虽然烹饪过程发生了化学反应，但对于真正对烹饪感兴趣的人来说，必须要学习如何搭配手中的食材。”

传统的人工智能技术在理解语言时，需要将语音规则嵌入系统。但在这个项目中，系统可以利用现代化的机器学习技术，借助足够的数据自主学习，就像儿童自学那样。

考拉多说：“我并不是跟着语言学家学会说话的，而是通过听别人说话学来的。”。但真正令智能回复变得切实可行的，是它的成功很容易定义——他们的目的不是创造一个妖艳的虚拟斯嘉丽·约翰逊(Scarlett Johansson，电影《她》中的智能操作系统)，而是希望它能回复真正的电子邮件。

考拉多说：“这项服务的成功标志是，用户觉得机器生成的备选回复有用，可被当作自己的真正回复使用。”因此，只需要知道用户是否点击了系统推荐的回复内容，便可对其进行训练。

然而，在开始测试智能回复功能时，用户却注意到了怪异事情：系统经常会推荐一些不合时宜的浪漫回应。考拉多说：“其中一种失败模式是：只要系统感觉困惑，它就会说‘我爱你’。这并不是软件漏洞，而是我们的错误引导它如此做。”这个程序已经了解人类行为的某些微妙之处：“比如你感到担忧是说一句‘我爱你’，其实是一种很好的防御策略。”考拉多帮助该团队压制了系统的热情。

去年11月发布的智能回复功能取得了巨大成功，Gmail Inbox应用的用户现在可以直接从系统提供的三条备选内容中选择一条，轻轻碰触即可进行回复。由于系统提供的回复内容非常切题，用户经常感到不可思议。在通过该应用发送的回复信息中，有1/10都是由机器学习系统生成的。考拉多笑着说：“这个项目能够成功还是令我感到有些惊讶。”

人工智能融入谷歌命脉

在谷歌证明机器学习高效性的实例组成的稠密图（dense graph）中，自动回复只是其中的一个数据点。但是当机器学习成为搜索业务的重要组成部分的时候，或许转折点才会最终到来。

作为谷歌的旗舰产品，搜索几乎为该公司贡献了所有营收。在某种程度上说，搜索总是基于人工智能系统。但多年以来，由于搜索引擎对谷歌过于重要，所以始终没有融入机器学习算法。迦南德里说：“由于搜索在公司内部占据的份额巨大，高级管理者深度参与其中，所以很多人都怀疑我们无法真正取得进展。”

这部分阻力源自文化因素，因为谷歌强调要让那些有极强控制欲的程序员适应带有禅宗韵味的机器学习模式。

长期掌管谷歌搜索业务的阿密特·辛格(Amit Singhal)曾是传奇计算机科学家杰拉德·萨尔顿(Gerald Salton)的助手。萨尔顿在文档检索方面的开创性工作启迪辛格帮助谢尔盖·布林(Sergey Brin)和拉里·佩奇(Larry Page)把研究生时期编写的代码，扩展成了可以适应当今网络时代的程序。

他从20世纪的方法中梳理出令人惊讶的结果，但如果要将机器学习系统整合到关系谷歌命脉的复杂系统中，他却持怀疑态度。大卫·帕布洛·科恩说：“进入谷歌的前两年，我在搜索质量部门工作，并尝试用机器学习来改进排名。结果证明：阿米特的团队是全世界最优秀的，我们把阿里特脑海中的所有内容都变成了硬编码，并不断取得进步，我们已经找不到超越他的方式。”

到2014年初，谷歌的机器学习大师们认为需要改变现状。迪恩说：“我们与排名团队展开了一系列讨论。我们认为至少应该尝试一下，看看是否有所收获。”他的团队所设想的那个实验，最终被证明对搜索至关重要：即文件排名与搜索请求的匹配程度有多高。迪恩称：“我们跟他们说，尝试用神经网络计算额外的分数，看看到底有没有用。”

结果显示这种方法确实有用。这套系统如今已经成为谷歌搜索的一部分，被称作RankBrain。它于2015年4月上线。谷歌继续秉持着以往的风格，对如何改进搜索讳莫如深。但迪恩表示，RankBrain“融入到每一个搜索请求中”，虽然未必会影响所有的排名，但的确对很多搜索请求的排名都产生了影响。另外，该系统效果显著。在谷歌计算排名时所使用的数百个信号中，RankBrain的使用排名第三。

迦南德里说：“我们成功利用机器学习改进了搜索结果，这对公司来说意义重大，也引发了很多人的关注。”华盛顿大学教授佩德罗·多明戈斯则则表示：“检索派与机器学习派始终都存在着分歧，机器学习派最终赢得了胜利。”

谷歌认知转换面临的新挑战是如何让所有工程师都熟悉机器学习——哪怕不擅长机器学习。这也是现在其它许多公司也在追求的目标，其中最引人关注的当属Facebook，该公司与谷歌一样执着于机器学习和深度学习。对这个领域的毕业生的竞争变得更激烈，而谷歌正在努力维持其对毕业生的吸引力。

学术圈多年以来都流传着一个玩笑：即使不需要顶尖学生，谷歌也会招聘他们，避免人才被竞争对手抢走。

多明戈斯说：“我的学生无一例外都得到了谷歌的录用通知。”目前看来，竞争的激烈程度有增无减。就在上周，谷歌宣布将在苏黎世开设一个新的机器学习实验室，有很多工作岗位有待填补。但由于学术项目尚未培养大量机器学习专家，所以为员工提供在职培训面成为了必要措施。

但这却并非易事，尤其是对于谷歌这样的公司而言。这里有很多世界顶尖的工程师，他们毕生都在研究传统的编程方式。

机器学习却需要截然不同的思维模式，人们之所以能变成编程大师，通常是因为他们实现了对编程系统的完全控制。机器学习还需要掌握一些数学和统计学知识，但是很多程序员却对此不屑一顾，即便是那些能够写出超长代码的超级黑客也不例外。

克里斯汀·罗伯森,职责是在机器学习方面培训谷歌内外的人员。

这也需要相当程度的耐心。罗伯森说：“机器学习模型不是静态代码，你需要不断为其提供数据。我们一直在不停地更新模型，而且还要不断学习，增加更多数据，调整预测方式等。它就像是一个有生命的东西，这是一种截然不同的开发模式。”迦南德里说：“实际上这是一个使用不同算法进行实验的学科，或关于哪个训练数据集在你的使用案例上工作效果最好的学科。”

尽管迦南德里已是搜索业务主管，但他仍然认为在内部传播机器学习技术的福音是他工作的一部分。他说：“计算机科学那部分不会有太大变化，但对数学和统计学的关注会更多，而对编写五十万行代码的关注则会减少。”就谷歌而言，这一障碍可以通过智能再培训克服。迪恩说：“在训练的一天结束时，这些模型中所使用的数学变得不再复杂。对于谷歌雇佣的大部分工程师而言，这都是可以实现的。”

为了进一步帮助日益增长的机器学习专家团队，谷歌开发了一系列强大的工具，在训练算法时选择正确的模型，以加快培训和提炼过程。其中最强大的是TensorFlow，它可以加速神经网络的构建过程。

TensorFlow源自谷歌大脑项目，由迪恩和他的同事拉加特·芒格(Rajat Monga)共同发明。它能把构建系统过程中涉及的晦涩难懂的细节变成标准化的内容，特别是在谷歌2015年11月开始将其开放给公众后，这种做法的效果更快得以显现。

扩张停不下来

尽管谷歌煞费苦心地将传播人工智能技术的行为描述为利他主义行为，但它也承认：如果新一代程序员都能熟悉该公司内部的机器学习工具，那对谷歌未来的招聘活动带来莫大好处。TensorFlow的功能以及谷歌的开源模式很快受到了程序员的欢迎。迦南德里表示，当谷歌首次提供TensorFlow课程时，共有7.5万人报名参加。

但谷歌仍为自己的程序员保留了很多好东西。在公司内部，员工拥有无可比拟的机器学习工具——Tensor Processing Unit(张量处理单元)。他们虽然使用这项创新已经很多年，但直到最近才对外宣布。

张量处理单元是一种针对机器学习程序优化的芯片，就像GPU是专门针对图形处理优化的芯片一样。该公司的庞大数据中心里使用了数以千计的张量处理单元。通过赋予神经网络以超级计算能力，张量处理单元为谷歌带来了巨大优势。迪恩说：“如果没有它，我们无法推出RankBrain。”

但由于谷歌最需要的还是设计和完善这些系统的人才，就像正在紧锣密鼓地完善其软件训练工具一样，谷歌也在不断尝试各种方式来为工程师提供机器学习方面的培训。

这些培训的规模大小不等，包括为期两天的速成班，使用幻灯片和实际操作练习。谷歌希望这只是初步尝试，工程师随后还会寻找更多资源来深入学习。迪恩说：“已经有数千人报名，准备参加下一次课程。”

谷歌还采取其他措施，为外部人才提供机器学习培训。今年初春，谷歌启动了BrainResidency项目，利用谷歌大脑项目为有潜力的外部人才提供了为期一年的集训。罗伯森说：“我们称之为深度学习职业生涯的开端。”

这次集训共有27名来自不同学科的机器学习学员，其中可能有些人会留在谷歌。但罗伯森表示，谷歌的目的是让他们自行发展，利用自己掌握的先进知识在世界各地传播谷歌的机器学习技术。

从某种意义上说，机器学习正在逐步走上中心舞台，谷歌希望以人工智能公司的身份继续占据主导地位，而霍尔盖特等人在忍者项目中学到的知识正是这一计划的核心。

霍尔盖特的课程最初是为期4周的新兵训练营，由谷歌最先进的人工智能项目产品负责人提供指导，仔细教给他们如何将机器学习融入项目中。

罗伯森说：“我们把忍者带进会议室，考拉多站在白板前解释何为LSTM(长短期记忆，一种可以打造强大神经网络的技术)。他做着夸张的手势，讲述这种系统的工作原理，利用了哪些数学原理，如何应用于产品中。在最初的4个星期里，我们几乎用到了所有技术和所有工具，为的是给他们带来真正的沉浸式体验。”

霍尔盖特成功地通过了新兵训练营的训练，她现在正在使用机器学习工具开发安卓通讯功能，以帮助谷歌员工彼此交流。她正在调整超参数（hyperparameter），整理输入数据，去掉休止符。

现在她已经无法停住脚步，因为她知道人工智能技术就是谷歌的现在和未来，甚至可能是所有技术和所有事物的未来。她说：“机器学习时代已经来临，前景无比广阔。”