Deep Learning解读合辑 | 国庆特辑

国庆节来了，社长我也休息一下。

借此机会，把我们之前发过的内容做一次总结，也方便大家查阅~

『学术青年分享会』是雷锋网旗下垂直 AI 领域学术交流社群——AI 研习社所发起的活动。AI 研习社致力于建设全球领先的 AI 求知社区，基于专业直播平台，进行技术交流的公益传播和深度交流。

『分享会』通过邀请学术界、工业界学者进行高质量内容分享，让广大学术青年了解最前沿的学术与行业技术进展，成为连接学术界与工业界之间的桥梁，并希望能够从中发现一大批优秀 AI 人才，推动国内 AI 行业的持续发展。

『分享会』采用线上直播的形式，聚集了国内外高校 CS 背景的优秀硕博在校及毕业生，他们来自斯坦福大学、香港大学、都柏林城市大学、北京大学、清华大学、中国科学院等海内外高校研究所，以及硅谷、BAT 等知名企业工程师。分享嘉宾将有机会受邀加入相关社区，与国内外 AI 领域优秀人才学者交流互动，并作为主讲嘉宾加入研习社学术青年嘉宾团。

今天带来的是 Deep Learning 这本书的前七章总结，以下是之前几期参与分享的学霸们：

  分享人  

王奇文

江湖码农，前BAT资深工程师，先后做过推荐系统、分布式、数据挖掘、用户建模、聊天机器人。

孙嘉睿

迅雷人工智能图像算法工程师，北京大学信息工程学院博士，京都大学情报学硕士。

吴楚

数学硕士，华大基因算法工程师，典型程序猿一枚。

陈安宁（Jackie）

名古屋大学计算力学博士，目前从事AI 咨询和解决方案的开发。

只有七章是因为目前为止我们只讲了七章，在这里做一个汇总，点击下面列出的每一章的题目即可跳转到那篇文章。

大家可以把本文收藏下来，这样方便回过头来向各个章节跳转。

这一部分主要是深度学习的一些基本介绍、一些发展历史。可以看一下这个封面，一幅漂亮的风景画，纽约中央公园遍地盛开的杜鹃花，仔细看有点不太正常，对了，这就计算机生成的，确切的说，是 Google deepmind 团队的杰作——梦幻公园。

今天分享的是第二章：线性代数。从 27 页到 42 页，内容不多，基本都是传统形式上的概念。同样，我只讲直观思路，尽可能的少用公式，毕竟好多人见着数学公式就头疼，更不用说在 PPT 上看了，效果不好，容易催眠，看着看着就身在朝野心在汉了。

这节课会讲到一些基本概念，常用的分布，频率学派和贝叶斯学派的差别，还有贝叶斯规则，概率图，最后是信息论。这里第四条可能很多人可能头一回见到，学了那么多概率，连这个都不知道，那你的概率真的白学了，真这样，不开玩笑。不过，老实说我也是前几年才知道这个学派的差别，因为浙大三版教材上就没提到这些，好像就提到一点，频率学派就是古典概率，没有什么其他的，这也是现行教材的缺陷。

其实我们大部分人在运用机器学习或者深度学习的时候是不需要考虑这一章的内容的，这章的内容更多是针对算法的数学分析，包括误差的增长以及系统的稳定性。

第一，在机器学习、包括了深度学习中数值计算的应用。

第二，数值误差的问题

第三，简单的分析机器学习系统的稳定性问题

最后，针对优化问题给出了两种不同的优化算法，一种是梯度下降法，一种是限制优化算法。

5.1 学习算法

5.2 Capacity, 过拟合和欠拟合

5.3 超参数和验证集

5.4 估计量，偏移值和方差

5.5 最大似然估计

5.6 贝叶斯统计

5.7 监督学习算法

5.8 无监督学习算法

5.9 随机梯度下降

5.10 构建机器学习算法

5.11 挑战深度学习

6.1 例子：学习异或

6.2 基于梯度的学习

6.3 隐藏层单元

6.4 架构设计

6.5 BP 算法和其他不同算法

6.6 历史记录？

7.1 参数归一化惩罚

7.2 归一化惩罚作为条件最优化

7.3 正则化和欠约束问题

7.4 数据集增大

7.5 噪声鲁棒

7.6 半监督学习

7.7 多任务学习

7.8 早期中止

7.9 参数连接和参数共享

7.10 稀疏表达

7.11 Bagging and Other Ensemble Methods？

7.12 Dropout

7.13 对抗训练

7.14 切线距离，Tangent Prop 和流行切分类器？

新人福利

关注 AI 研习社（okweiwu），回复  1  领取

【超过 1000G 神经网络 / AI / 大数据，教程，论文】

对我们的分享会有什么建议？

希望成为分享人吗？

让我们听到你的声音

▼▼▼