我在谷歌大脑这一年

问耕 编译整理
量子位 出品 | 公众号 QbitAI

这篇文章的原作者是Colin Raffel。他2016年于哥伦比亚大学获得电子工程博士学位，随后入选谷歌大脑为期一年的Residency项目（类似访学）。

过去一年我都在Google Brain Residency项目里，这也是我获得博士学位后的第一年。在这篇博文中，我会介绍一下Residency，以及我在这里的研究等等。

Residency

过去一整年，总有人问我Residency到底是什么？因为这也是谷歌大脑第一次搞这个计划。我听过的最准确回答是：这有点像读博的一年，只不过你在谷歌大脑，而不是身在某所大学里面。

如果你刚刚接触机器学习，这个过程可能更像博士生的第一年；如果你已经是机器学习的老手，可以做研究、写论文，那么这个过程可能更像博士生的最后一年。

我认为这是一个恰当的描述，因为我的日常和工作，与我在读博期间相比没有任何变化。具体来说，我每天早上会花一两个小时读论文，然后用一整天来编写代码运行实验。

时不时地，我会参加谷歌大脑研究人员或访客的讲座。有不少人变成了我的“导师”，我会跟他们讲我的研究进展，并获得反馈。以及，我也会赶在截止日期之间，把我的实验结果写入论文，投递给一个又一个的会议。

当然，也会有一些实质性的差异。

谷歌大脑是一个很大的研究实验室，有上百人的规模，而大多数类似的实验室都要小得多。这意味着，如果你对某个具体的研究课题有疑问，大概率谷歌大脑里有人就在研究这事儿；你读的某一篇机器学习论文，作者可能就在离你不远的地方。

此外，这里还有很多（或者说太多）协同工作的机会。在来到谷歌大脑之前，我从来没有拒绝过和聪明人一起展开有前景的研究。

另一个显著的区别是，你能获得超多的计算资源。在几十甚至几百个GPU上做实验，简直是小事一桩。这带来了实实在在的影响：你有机会尝试更多的想法、超参数配置等等。所以你也不必等一切都高度优化好之后，再开始实验。

记得读博士期间，我花了好久来测试不同的Theano运算，以便从我那单个的GPU中压榨出最大的性能。而在Google你要关注的不是精细调整，而是规模化。

我的研究

我在Residency的基本目标是：1、基础（而不是特定应用）的机器学习研究。2、学点东西。3、好好利用我在谷歌大脑的机会。我之前的背景主要是顺序数据的机器学习模型（博士生涯主要关注音乐领域的机器学习），这很大的影响了我的研究。

我的第一个项目，是尝试创建一个能发现序列中层次结构的模型。许多序列可以自然的分解为层次结构（例如：例如文档 ->段落 ->句子 ->单词 ->字符），所以我们希望可以找到的一个可以发现这种层次结构的模型。

为了解决这个问题，我决定重点关注一个相对简单的机制，可以描述为：对于一个给定的输入序列，可不可以通过一个简单的“是/否”需要包含输入的每条信息，来构建一个更短的输出序列。

实际上，你只是对输入序列“二次采样”，来产生一个新的更短的序列。是否在输出序列中包含输入序列的全部信息，是一个可以自适应的决定，即基于输入序列本身。下图用来说明这个想法：

不幸的是，出了一个简单的玩具问题，我无法通过这种方法在任何任务上获得良好的效果。不过我还是在ICLR研讨会的扩展摘要中提到了这个想法，想让人们注意到训练一个二次采样机制的可行性。

除此以外，我还进行了单调注意力、强化学习等方面的研究，还参与了一些Magenta项目的工作。

下一步

我当初本打算博士毕业后去做博士后，参加Residency项目之后，我仍然准备去做博士后，继续我的研究生涯。

不过我最终还是决定作为研究科学家（research scientist）留在谷歌大脑。因为这里堪称是一个理想的实验室：可以做自己想做的研究，周围都是聪明的同事，可以自由分享研究成果，还有无限可用的资源……

老实说，我不知道还有哪个实验室有谷歌大脑这么自由。据我所知，谷歌大脑从来不要求研究人员，从事某项有利于具体产品的研究。

同事方面，正如我上面提到的，你基本被最先进的研究人员围绕。新一批的Residency同学已经来了，而且这里总有实习生，也有你需要的导师。

我认为谷歌大脑的文化，很大程度上来自于领导力。谷歌大脑的高级员工全都平易近人、友善以及乐于分享。

所以，我决定继续留在谷歌大脑。具体来说，我正在Ian Goodfellow的团队。以后我将有更多时间投入机器学习安全、对抗性训练和无监督/半监督学习中。

当然我还会继续抽时间为顺序数据和音乐搞搞机器学习模型，毕竟本性难移~

推荐阅读

想了解更多谷歌大脑？量子位之前还有一篇《谷歌大脑揭秘：48名成员20大研究领域》

— 完 —

加入社群

量子位AI社群7群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot2入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot2，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态