其他

李沐:来一起动手学深度学习吧

2017-09-07 UniDeep数据科学家

2017-09-04 让创新获得认可 




编者按:如果你不想看所有的来龙去脉,核心思想是将门会联合亚马逊AI主任科学家李沐博士在北京时间9月9日(周六)上午10点启动一档从零开始入门深度学习在线直播课程。


这档课程由李沐博士主讲,不仅介绍深度学习模型,而且提供简单易懂的代码实现。不是通过幻灯片来讲解,而是通过解读代码,实际动手调参数和跑实验来学习。


我们会通过斗鱼直播平台在每周六的上午10点和大家见面。先试讲两期,看看大家的反馈如何。


以下是李沐博士的心里话:



两年前我们开始了MXNet这个项目,有一件事情一直困扰我们:每当MXNet发布新特性的时候,总会收到“做啥新东西,赶紧去更新文档”的留言。我们曾一度都很费解,文档明明很多啊,比我们以前所有做的项目都好。而且你看隔壁家轮子,都没文档,大家照样也不是用的很嗨。

后来有一天,Zack问了这样一个问题:假设回到你刚开始学机器学习的时候,那么你需要什么样的文档?

我是从大二开始接触机器学习的。当时候并没有太多很好资料,抱着晦涩的翻译版《The Elements of Statistical Learning》读了大半年仍是懵懵懂懂。后来08年的时候又啃了好几个月《Pattern Recognition AndMachine Learning》,被贝叶斯那一套绕得云里雾里。10年去港科大的时候James问我,你最熟悉的模型是哪个?使劲想了想,竟然答不出来。

虽然在我认识的人里,好些人能够读一篇论文或者听一个报告后就能问出很好的问题,然后就基本弄懂了。但我在这个上笨很多。读过的论文就像喝过的水,第二天就不记得了。一定是需要静下心来,从头到尾实现一篇,跑上几个数据,调些参数,才能心安的觉得懂了。例如在港科大的两年读了很多论文,但现在反过来看,仍然记得可能就是那两个老老实实动手实现过写过论文的模型了。即使后来在机器学习这个方向又走了五年,学习任何新东西仍然是要靠动手。

几年前,我开始学习深度学习,在MXNet这个项目里也帮助和目睹了很多小伙伴上手深度学习。我发现也有很多小伙伴跟我一样,动手去实现、去调参、去跑实验才是会真正的成为专家(或者合格的炼丹师)。

虽然深度学习崛起前的年代,不写代码不跑实验可以做出很好的理论工作。但在深度学习领域,动手能力才是核心竞争力。例如就算我熟知卷积的三种写法、Relu的十个变种,理解BatchNorm为什么能加速收敛,对ImageNet历届冠军的错误率随手拈来,能滔滔不绝说上几小时神经网络几度沉浮的恩怨史,但调不出参数,一切都是枉然。发论文被问你为啥跟state-of-the-art差老远,做产品被喷你这精度还不如我的便宜100倍的线性模型。

在过去一年我在AWS工作中,很大一部分是在帮助Amazon内部团队和云上的用户来了解深度学习,并将其应用到他们的产品中。在今年夏威夷的CVPR上,遇到很多老朋友,例如地平线的凯哥,今日头条的李磊,第四范式的文渊和雨强,也认识了很多新朋友,例如Momenta旭东和商汤俊杰。我说MXNet有了新Gluon前端,可以一次性解决产品和研究的需求。大家纷纷表示,好啊好啊,来我们这里讲讲吧。而且特别强调说,我们这里新人很多,最好能讲讲入门知识。

所以很自然的会想,我们能不能帮助更多人。于是我们想开设一些系列课程,从深度学习入门到最新最前沿的算法,从0开始通过交互式的代码来讲解每个算法和概念。希望通过这个让大家既能了解算法的细节,又能调得出参数。既赢得了竞赛,又做的出产品。

为此我们做了(正在做)这四件事情:

  1. Eric和Sheng开发了MXNet的新前端Gluon,详细可以参见Eric的这篇介绍>>https://zhuanlan.zhihu.com/p/28648399。这个前端带来跟Python更一致的便利的编程环境,不管是debug还是在交互上,都比TensorFlow之类通过计算图编程的框架更适合学习深度学习。

  2. Zack, Alex, Aston和很多小伙伴一起写了一系列的notebook来讲解各个模型。Zack从一个外行(他是专业音乐人)和老师(CMU计算机教授)的角度,从0开始讲解和实现各个算法。

  3. 我们同时将notebook翻译成中文,而且做了很多改进(我个人认为中文版质量更高),并建立中文社区discuss.gluon.ai方便大家来讨论和学习。

  4. 我们联合将门在斗鱼上直播一系列课程,深入讲解各个教程。

在我们准备这个的时候,Andrew Ng也开设了深度学习课程。从课程单上看非常好,讲得特别细。而且Andrew讲东西一向特别清楚,所以这个课程必然是精品。但我们做的跟Andrew的主要有几个区别:

  1. 我们不仅介绍深度学习模型,而且提供简单易懂的代码实现。我们不是通过幻灯片来讲解,而是通过解读代码,实际动手调参数和跑实验来学习。

  2. 我们使用中文。不管是教材,直播,还是论坛。(虽然在美国呆了5,6年了,事实上我仍然对一边听懂各式口音的英文一边理解内容很费力。)

  3. Andrew课目前免费版只能看视频,而我们不仅仅直播教学,而且提供练习题,提供大家交流的论坛,并鼓励大家在github上参与到课程的改进中来。希望能与大家有更近距离的交互。

从大出发点上我们跟Andrew一致,希望能够帮助小伙伴们快速的掌握深度学习。这一次技术上的创新可能会持续辐射技术圈数年,希望小伙伴们能更快更好的参与到这一次热潮来。

我们会联合将门先讲两期,每次大概两个小时。之后收集大家的反馈看看接下来哪种形式是最有效的。


关于李沐






李沐是亚马逊AI主任科学家。之前他曾任创业公司Marianas Labs的CTO,和百度深度学习研究院的主任研发架构师。他在卡内基梅隆计算机系获得了博士学位,他的研究关注分布式系统和机器学习算法。他在数个领域发表过论文,包括理论(FOCS),机器学习(ICML,NIPS),应用(CVPR,KDD),和操作系统(OSDI)。

参与方式

除了斗鱼直播之外,我们还会专门建一个微信的交流群,方便大家实时的交流和提问。这个群虽然还会需要大家填写个人信息进行报名,但是在入群的资质审核上会宽松很多。

获得斗鱼直播链接和入群方式,请关注将门公众号(thejiangmen),并在后台回复关键词“李沐”。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存