深度学习之父Geoffrey Hinton的神经网络合集（中文字幕首发）| 国庆特辑

国庆节来了，社长我也休息一下。

借此机会，把我们之前发过的内容做一次总结，也方便大家查阅~

今天带来的是深度学习祖师 Geoffrey Hinton 的 Neutral Network for Machine Learning 全套课程。

这个系列课程总计16节，雷锋字幕组已经完全压制完成，在这里做一个汇总，点击下面列出的每一章的题目即可跳转到那篇文章。

大家可以把本文收藏下来，这样方便回过头来向各个章节跳转。

作为深度学习祖师，Geoffrey Hinton 的每一句每一言，都使学习者如奉纶音。浓缩其毕生所学的《Neutral Network for Machine Learning》，则是唯一一门 Hinton 老师系统讲授的公开课。

自 2012 年开课，NNML 就一跃成为深度学习开发者的殿堂级慕课。时隔五年，仍然是内容最 “干”、最值得学习的深度学习课程。

如果说吴恩达的《Machine Learning》是最佳入门课程，描述 NNML 则只需两个字： “必修”——对于有志于真正掌握深度学习的人而言。

它很难，但也因此没有做任何 “dumb down”——为照顾小白而牺牲 “厚度”，把原本并不单纯的原理硬以简单的类比表述出来，是几乎所有深度学习课程不得不做的妥协。

但这门课没有。

为了让广大 AI 青年们不再为英语所累，快速进入学习状态，AI 研习社 推出了深度学习之父 Geoffrey Hinton 的《Neutral Network for Machine Learning》中文系列视频课程。PS: 出于对 Hinton 知识成果的尊重以及版权的需要，AI 研习社已经获得了 Hinton 教授的亲自授权。

雷锋字幕组致力于为 AI 从业者们提供最专业的 AI 相关视频内容。目前，雷锋字幕组已经与全球范围内多所高校包括多伦多大学、伦敦大学学院等达成课程内容汉化授权协议。如果您对我们的工作内容感兴趣，欢迎添加微信 “ jadelover11 ”，备注 “Hinton” 加入我们！

下面开始进入正题：

课程开篇 Hinton 介绍了在我们了解神经网络学习算法的细节之前，我们需要解决的一个基础问题：我们为什么需要机器学习？机器学习的用途广泛，Hinton 结合不同场景为大家解释了这个问题。

本次视频中 Hinton 介绍了人的大脑中神经元网络的基础知识，并解释了算法并非大脑实际工作方式，但确实受到大脑的启发，以及大脑处理视觉、听觉的输入输出与计算机神经网络的比对，为之后面向机器学习的神经元网络打好基础。

神秘的神经元是如何传输信号的？什么样的数学公式可以模拟如此复杂的系统？有哪些常用的神经元模型？线性激励神经元 ReLU 和鼎鼎大名的 Sigmoid 又有何区别？这节课中，Hinton 将为你一一解答。

本期课程以经典的手写数字识别问题为例，详细讲解神经网络是如何从杂乱无章的图像中学习到潜在特征，并完美地区分不同数字的。主要步骤：设计简单的双层网络结构，数据准备，权值初始化，模型训练及权值动态更新。

机器学习包含三大类别：有监督学习、无监督学习和增强学习，这三者各不相同，又相互补充。接下来你讲了解到：这几种方法有什么区别，分别解决什么样的问题，适用于什么情形？怎么度量学习效果，聚类和稀疏编码又是什么？

常见的神经网络有前馈神经网络 FFN 和循环神经网络 RNN，不同的网络结构有着不同的魔力，比如 RNN 能记忆信息（比 FFN 强大），已经在语音识别上广泛应用。那么，RNN 的魔力到底源自何处？

这节课讲的是神经网络早期版本——感知器。它的结构简单，能实现简单的逻辑运算，曾经轰动一时，开启了神经网络的研究热潮。然而，最后却被后来居上的 SVM 打败，自此一蹶不振。感知器为何会败北？希望大家能从此课一探究竟。

上节课主要从数学公式上了解感知器的基本原理，比较抽象，这节课换个思路，在几何空间里深入了解感知器，让大家有更加直观的理解。同时，你将了解到超平面、锥平面、凸优化等术语。

上几节课介绍感知器的基本公式，并从几何空间上简单讲解，这节课继续深入下去，用可视化的方式剖析公式背后的原理。

由于感知器非常依赖输入数据，特征选得好，威力无穷，特征不好，那就差强人意了，这直接导致感知器发展受限，跌入低谷。下面详细解释下感知器的局限性。

3.1 线性神经元的权值收敛

上面几节课详细讲解了感知器，这次介绍线性神经元，跟感知器思想类似，但又不同：线性神经元训练时会趋近于目标值。接下来 Hinton 会用猜测餐馆菜价的例子，解释权重收敛的过程。

3.2 线性神经元误差曲面分析

权重更新离不开误差计算，这节课着重分析下线性神经元的误差曲面，以及怎么用梯度下降算法和学习率寻找权值的收敛方向

3.3 逻辑神经元的学习规则

线性神经元简单但能力有限，实际中用的多是非线性神经元，比如 logit 神经元，也称 sigmoid 函数，具体有哪些神奇之处？

3.4 反向传播算法解析（一）

多层非线性神经网络功能强大，但是由于结构复杂，难以训练。幸运的是，鼎鼎大名的 BP（反向传播）算法解决了训练难题，直接掀起了 AI 的第二次热潮。

3.5 反向传播算法解析（二）

上次讲了 BP 算法的基本原理，误差反向传播，动态更新权值，但是仍然有些疑点：比如，以什么样的频率更新？怎么防止过拟合？

• 这节课介绍的是如何用 BP 反向传播算法训练出词向量，为了方便理解，先从一个族谱案例开始，形象演示神经元、独热编码和反向传播。

• 族谱是大脑神经元的一种简化形式，这节课将概念特征表达迁移到神经认知学上，从另外一个角度理解神经网络及其中的争议。

• 感知器只能解决二分类问题，那分类问题怎么办？加 Softmax 层。Softmax 函数能将输出结果表示成多种类别上的概率分布，很好的解决了多分类问题。

• 了解完 Softmax 的原理，这节课讲下它的一个应用场景：语音识别，如何在嘈杂的环境中，推断一段语音说的是 beach 还是 speech

第五节主要介绍物体识别问题的难点及克服这些难点的方法，重点介绍了数字识别和物体识别中使用的卷积神经网络，并介绍了由 Yann LeCun 和他的团队提出的 Le Net，这是一个在向前反馈网络中使用了反向传播的手写数字识别系统。

第六节介绍了随机梯度下降法（SGD），并且介绍了加快学习速度的动量方法（the momentum method）、针对网络中每一个连接的自适应学习步长（adaptive learning rates for each connection）和 RMSProp 算法。这几个算法的难度很大，需要反复推理思考，并在实践中摸索以加深理解。

第七节介绍了与 RNN 有关的模型以及使用反向传播来训练 RNNs，并演示了使用 RNN 来解决二进制数字相加的问题，还介绍了训练 RNN 时会遇到的难点问题。

首先讲解了何谓 hessian 矩阵，强调了调整到 optimal point 方法的重要性。接下来 Hinton 讲解了一个 RNN 运用 HF 方法在 language model 上的一个例子，并介绍了 multiplicative connection 和 Echo State Network（ESN）。

这一节课介绍了如何在网络有过多能力处理过多容量的训练数据集时，通过降低过拟合来提高网络模型的泛化能力。Hinton 介绍了几种控制网络容量的方法，以及如何设置度量参数以及防止过拟合的四种方法。

本节介绍了如何结合多种模型，并进一步从实际应用的角度介绍了完全贝叶斯方法。

本节课介绍了 Hopfield 网络的概念和增加 Hopfield 网络记忆容量的方法，以及玻尔兹曼机，它是有着隐藏单元的随机 Hopfield 网络，可以进行二进制数据向量集合的概率模型的构建。

这节课主要限制玻尔兹曼机（RBMs）的基本概念以及用途。Hinton 教授是深度学习的开山鼻祖，也正是他在 2006 年的关于深度信念网络 DBN 的工作，以及逐层预训练的训练方法，开启了深度学习的序章。其中，DBN 中在层间的预训练就采用了 RBM 算法模型。RBM 是一种无向图模型，也是一种神经网络模型。

本节主要介绍了反向传播（BP）算法的发展历史，置信网络主要解决的问题和 wake-sleep 算法的优缺点。

本节课介绍了深度置信网络（DBNs）中的判别学习（Discriminative learning）以及神经网络经过堆叠 RBM 预训练后在判别性微调中的变化。

本节课主要介绍了数据的降维方法，从 PCA（Principal Components Analysis）在信号处理领域的广泛应用，到效果根伟显著的自编码（autoencoder），非常详细地解释了其中的原理。

这是本课程的最后一节课，也是选修章节，主要介绍了深度神经网络的应用以及最新（截止 2012 年）的研究进展，包括从图片中提取语义特征以及对超参数的贝叶斯优化，是对前面所讲章节的延伸和扩充。

新人福利

关注 AI 研习社（okweiwu），回复  1  领取

【超过 1000G 神经网络 / AI / 大数据，教程，论文】

Deep Learning 解读合辑 | 国庆特辑

▼▼▼