【Bengio领衔】巴黎高工数据科学暑期学校课程要点合集
1新智元编译
来源：gmarti.gitlab.io
作者：Gautier Marti
编译：刘小芹
【新智元导读】这是巴黎综合理工学院（Ecole Polytechnique）数据科学暑期学校（8月28日~9月1日）所有讲座的要点总结。本次暑期学校有来自产业界（谷歌、亚马逊、微软、Facebook）和学术界（蒙特利尔大学，卡内基梅隆大学，爱丁堡大学/ KAUST等）深度学习、优化、强化学习方面的专家讲课。
详细课程计划和PPT、网站链接等可以在这里找到：http://www.ds3-datascience-polytechnique.fr/program/
这是巴黎综合理工学院（Ecole Polytechnique）数据科学暑期学校（8月28日~9月1日）的现场记录。
讲者包括：
Yoshua Bengio - 蒙特利尔大学教授（深度学习）
Csaba Szepesvari - 阿尔伯塔大学（Bandits）
Pradeep Ravikumar - CMU助理教授（图模型）
Peter RichtarikI - 爱丁堡大学副教授（随机优化方法）
Cédric Archambeau - Amazon 首席应用科学家
Olivier Bousquet - 谷歌技术总监
Damien Eenst - 烈日大学（Université de Liège）教授
Laura Grigori - INRIA研究总监
Sean Meyn - 佛罗里达大学教授
Sebastian Nowozin - 微软剑桥研究院研究员
Stuart Russell - UC伯克利大学教授
在 Ecole Polytechnique 校长 Jacques Biot 以及暑期学校主要组织者的介绍讲话后，Yoshu Bengio 首先以“深度学习AI”为题演讲，涉及反向传播、深度前馈神经网络、技巧、RNN和NLP等。他的讲话非常general，讲了一些好的工作中的state-of-the-art的方法，当前深度神经网络可以做什么，研究热点以及下一个前沿。
Yoshua Bengio 演讲的要点：
组合性（compositionality）的想法
1. 分布式表示/嵌入
2. 特征层次结构
视觉和语音识别的人类水平能力
NLP正在进步，但仍有很多工作要做
ML的五个组成部分
1. 大量数据
2. 非常灵活的模型
3. 足够的计算能力
4. 计算上高效的推理
5. 能够打败维度灾难（curse of dimensionality）的强大prior
深度学习的新东西
1. 无监督生成神经网络，例如GAN
2. 使用gating单元的注意力机制，例如，神经机器翻译
3. 记忆增强神经网络（memory-augmented network）
4. 课程学习（curriculum learning）
5. 0-shot 学习
6. 使用不同的modality（图像、文本、声音）
7. 多任务学习（分类、回归、图像到文本、图像到声音）
对于序列数据，要处理与RNN的长期依赖关系，使用多个时间尺度
解开representation的潜在因素，深度学习会产生原始数据的线性化动检，以便对图像、词汇等做线性代数
对于“需要多少数据”这种很重要但很难回答的问题，Yoshua提出了一个相当简单但有些令人失望的答案：绘制“准确度 vs 样本量”的经验曲线，只要能继续提高准确度，就继续收集数据。
接着，Sean Meyn针对强化学习做了题为“隐藏理论和新的超快算法”的讲课，非常技术，作者表示不太理解。
Sean Meyn讲课的要点：
对于强化学习，学习随机逼近而不是重新发现特定case
Pradeep Ravikumar 的讲课介绍了概率图模型（表示、推理、学习）。
Pradeep Ravikumar 讲课的要点：
PGM是存储分布和执行推理的一种便捷方式
用于概率图模型（Probabilistic Graphical Model）的 Python 库
概率图模型（PGM）和pgmpy的简明教程
Peter Richtarik 的课有关随机优化方法。
Peter Richtarik 课的要点：
优化（optimization）标准算法工具箱的8个工具
1. 梯度下降
2. 加速
3. proximal 技巧
4. 随机分解（随机梯度下降（SGD）/随机坐标下降（RCD））
5. minibatching
6. 方差缩减
7. 重要采样
8. duality
Stuart Russell 的课介绍了他的 BLOG 模型。他注意到，统计学长期以来忽略了语法（syntax），而syntax 在理论计算机科学和逻辑学中出现很多，后两个领域（CS，逻辑学）长期以来是AI的主要方法。他的想法是将统计学和逻辑学结合起来。具体来说，是在类似prolog的语言中引入数据，或在类似PGM的语言中引入一阶逻辑语法。
Stuart Russell 课的要点：
BLOG 模型（他提出的统计/逻辑混合模型的名字）可以用于提出事实/完全无监督的文本理解
BLOG 模型被联合国用于区分地震和核试验
Csaba Szepesvari 针对bandits提供了非常基础的课程，课程附带很棒的参考资料。
Csaba Szepesvari 课的要点：
网站：http://banditalgs.com 上有全部内容
Olivier Bousquet是谷歌机器学习研究主管，他的课有关深度学习的最新进步，尤其是“学习如何学习”（ learn 2 learn）的方法。
Olivier Bousquet 课的要点
Learn 2 learn
利用一个网络来构建另一个网络，方法是使用从被构建网络loss而来的强化学习feedback
AutoML：自动学习
1. 架构
2. 梯度下降
3. 损失函数
TensorFlow研究云
TPU
Sebastian Nowozin：无监督学习
Microsoft Research 的 Sebastian Nowozin 针对无监督深度学习的讲座。
Sebastian Nowozin 课的要点：
当前GAN理论的研究工作
f-divergence（例如Kullback-Leibler）对于GAN很有用
Cédric Archambeau 作了两个talk：
有关亚马逊ML研究
有关贝叶斯优化，用于在高斯过程找到好的超参数（例如，在深度学习中）
Cédric Archambeau 课的要点
提到了Amazon的很多东西
1. Amazon AI blog
2. 一个开源的神经机器翻译工具：sockeye，可以用于执行任意类型的“具有attention的序列到序列”学习
3. DeepAR：具有自回归循环网络（Autoregressive Recurrent Network）的概率预测
4. 提到通过绘制不同位置和长度的窗口对时间序列进行“data augmentation”的技术
5. 在 Amazon，他们更喜欢使用MXNet
6. 他们最近与 GPyOpt 有合作
最后是 Laura Grigori 的讲座，她的研究领域是线性代数算法。
Laura Grigori 课的要点：
感谢他们，我们得以有更多计算能力：）
原文地址：https://gmarti.gitlab.io/ml/2017/09/02/ds3-datascience-polytechnique.html
【号外】新智元正在进行新一轮招聘，飞往智能宇宙的最美飞船，还有N个座位
点击阅读原文可查看职位详情，期待你的加入~