【机器学习课程】深度学习与神经网络系列之绪论介绍

谢谢大家的支持！现在该公众号开通了评论留言功能，你们对每篇推文的留言与问题，可以通过【写评论】与圈主互动，圈主会及时回复您的留言。

查看之前文章请点击右上角，关注并且查看历史消息，谢谢您支持！

神经网络与深度学习

让机器具备智能是人们长期追求的目标，但是关于智能的定义也十分模糊。Alan Turing在 1950年提出了著名的图灵测试：“一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的”。

要通过真正地通过图灵测试，计算机必须具备理解语言、学习、记忆、推理、决策等能力。这也延伸出很多不同的学科，比如机器感知（计算机视觉、自然语言处理），学习（模式识别、机器学习、增强学习），记忆（知识表示）、决策（规划、数据挖掘）等。所有这些分支学科都可以看成是人工智能（ Artificial Intelligence， AI）的研究范畴。其中， 机器学习（ Machine Learning， ML）因其在很多领域的出色表现逐渐成为热门学科。机器学习的主要目的是设计和分析一些学习算法，让计算机从数据中获得一些决策函数，从而可以帮 48 31102 48 14942 0 0 1072 0 0:00:29 0:00:13 0:00:16 3490人们解决一些特定任务，提高效率。对于人工智能来说，机器学习从一开始就是一个重要的研究方向，并涉及了概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。

人工神经网络（ Artificial Neural Network， ANN），也简称神经网络，是众多机器学习算法中比较接近生物神经网络特性的数学模型。人工神经网络通过模拟生物神经网络（大脑）的结构和功能，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成，可以用来对数据之间的复杂关系进行建模。

Rosenblatt [1958]最早提出可以模拟人类感知能力的数学模型，并称之为感知器 （ Perceptron），并提出了一种接近于人类学习过程（迭代、试错）的学习算法。但感知器因其结构过于简单，不能解决简单的异或（ XOR）等线性不可分问题，造成了人工神经领域发展的长年停滞及低潮。直到1980年以后， Geoffrey Hinton、 Yann LeCun等人将反向传播算法（ Backpropagation， BP）引入到多层感知器[Williams and Hinton, 1986]，人工神经网络才又重新引起人们的注意，并开始成为新的研究热点。但是， 2000年以后，因为当时计算机的计算能力不足以支持训练大规模的神经网络，并且随着支持向量机（ Support Vector Machines， SVM）等方法的兴起，人工神经网络又一次陷入低潮。

直到2006年， Hinton and Salakhutdinov [2006]发现多层前馈神经网络可以先通过逐层预训练，再用反向传播算法进行精调的方式进行有效学习。并且近年来计算机计算能力的提高（大规模并行计算， GPU），计算机已经可以训练大规模的人工神经网络。随着深度的人工神经网络在语音识别[Hinton et al., 2012]和图像分类[Krizhevsky et al., 2012]等任务上的巨大成功，越来越多的人开始关注这一个“崭新”的研究领域：深度学习。目前，深度学习技术在学术界和工业界取得了广泛的成功，并逐渐受到了高度重视。

深度学习（ Deep Learning， DL）是从机器学习中的人工神经网络发展出来的新领域。早期所谓的“深度”是指超过一层的神经网络。但随着深度学习的快速发展，其内涵已经超出了传统的多层神经网络，甚至机器学习的范畴，逐渐朝着人工智能的方向快速发展。本书主要介绍人工神经网络与深度学习中的基础知识、主要模型（卷积神经网络、递归神经网络等）以及在计算机视觉、自然语言处理等领域的应用。

在今后的推文中，主要介绍人工神经网络与深度学习中的基础知识、主要模型（卷积神经网络、递归神经网络等）以及在计算机视觉、自然语言处理等领域的应用。

若希望全面了解人工神经网络和深度学习的知识，可以参考如下材料：
1. Ian Goodfellow, Aaron Courville, and Yoshua Bengio. Deep learning. Book in

preparation for MIT Press, 2015. 

2. Yoshua Bengio. Learning deep architectures for AI. Foundations and trends⃝ R in Machine Learning, 2(1):1–127, 2009

3.网站教程，比如http://deeplearning.net/。

目录浏览

第一章 绪论 
1.1 总结和深入阅读 
第二章 数学基础 
2.1 向量 
2.1.1 向量的模 
2.1.2 向量的范数
2.2 矩阵
2.3 矩阵的基本运算
2.3.1 常见的矩阵 
2.3.2 矩阵的范数
2.4 导数 
2.4.1 常见的向量导数
2.4.2 导数法则 
2.5 常用函数 
2.5.1 logistic函数 
2.5.2 softmax函数
2.6 总结和深入阅读 
第三章 机器学习概述 
3.1 机器学习概述

3.1.1 损失函数 
3.1.2 机器学习算法的类型
3.1.3 机器学习中的一些概念 
3.1.4 参数学习算法 
3.2 线性回归 
3.3 线性分类 
3.3.1 两类分类 
3.3.2 多类线性分类 
3.4 评价方法
3.5 总结和深入阅读
第四章 感知器 
4.1 两类感知器
4.1.1 感知器学习算法 
4.1.2 收敛性证明 
4.2 多类感知器 
4.2.1 多类感知器的收敛性
4.3 投票感知器 
4.4 总结和深入阅读 
第五章 人工神经网络 
5.1 神经元 .
5.1.1 激活函数 
5.2 前馈神经网络 
5.2.1 前馈计算 
5.3 反向传播算法 .
5.4 梯度消失问题 
5.5 训练方法 

5.6 经验 

5.7 总结和深入阅读
第六章 卷积神经网络 
6.1 卷积
6.1.1 一维场合 
6.1.2 两维场合 
6.2 卷积层：用卷积来代替全连接 
6.3 子采样层 
6.4 卷积神经网络示例
6.5 梯度计算
6.5.1 卷积层的梯度
6.5.2 子采样层的梯度 
6.6 总结和深入阅读 
第七章 循环神经网络 
7.1 简单循环网络 .
7.1.1 梯度 
7.1.2 改进方案
7.2 长短时记忆神经网络： LSTM 
7.3 门限循环单元： GRU 
7.4 总结和深入阅读 

量化投资与机器学习

知识、能力、深度、专业

勤奋、天赋、耐得住寂寞