【DLND 机器学习算法全栈工程师】干货！小白也能看懂的神经网络入门
导语： 干货来了，Udacity Machine Learning 课程导师 Walker 亲自出马，教你简单形象有趣地掌握神经网络！
神经网络是什么？神经网络就是一系列简单的节点，在简单的组合下，表达一个复杂的函数。下面我们来一个个解释。
线性节点
节点是一个简单的函数模型，有输入，有输出。
1、最简单的线性节点: x+y
我能想到的最简单的线性节点当然就是 x + y 。
2、参数化线形节点：ax+by
x + y 是一个特殊的线形组合，我们可以一般化所有x, y的线性组合, 即 ax + by。这 a, b 就是这个节点的参数。不同的参数可以让节点表示不同的函数，但节点的结构是一样的。
3、多输入线性节点: a1x1 + a2x2 + a3x3+...+anxn
我们进一步把 2 个输入一般化成任意多个输入。这里 a1,a2,a3,...an 是这个节点的参数。同样，不同的参数可以让节点表示不同的函数，但节点的结构是一样的。注意 n 并非是这个节点的参数，输入个数不同的节点结构是不一样的。
4、 线性节点的向量表达：aTx
上面的式子太过冗长，我们用向量 x 表示输入向量 (x1, x2, . . . , xn)， 用向量 a 表示参数向量 (a1,a2,...,an)，不难证明aTx=a1x1 +a2x2 +a3x3+...+anxn。这里向量 a 就是这个节点的参数，这个参数的维度与输入向量的维度相同。
5、带常量的线性节点：aTx+b
有时, 我们希望即使输入全部为 0 的时候，线形节点依然可以有输出，因此引入一个新的参数 b 作为偏差项，以此来增加模型的表达性。有时，为了简化，我们会把表达式写作 aT x。此时，x = (x1,x2,...,xn,1),a = (a1,a2,...,an,b)
6、带激活函数的线性节点: 1(aT x + b > 0)
对于二项分类问题，函数的输出只是真或假，即 0 或 1。函数 1 : R → {1, 0} 将真命题映射到 1， 将假命题映射到 0。
线性节点实例
1、线性节点表达 x ∨ y (或函数) ，或函数的真值表如下:
定义节点 1(x + y − 0.5 > 0), 不难验证，它与 x ∨ y 是等价的。
2、线性节点表达 x ∧ y (与函数) ，与函数的真值表如下:
定义节点 1(x + y − 1.5 > 0), 不难验证，它与 x ∧ y 是等价的。
线性节点的表达力
单个线性节点可以表达所有线性函数(函数值域为实数集)、以及所有线性可分的分类 (函数值域为{0, 1})。概念定义和命题的证明我们这里不再阐述。虽然单个线性节点已经很强 ，但依然有图的局限性。对于线性不可分的函数，它无能为力， 例如异或函数 x ⊕ y
线性节点的组合
1、多个线性节点同层组合：WTx
上述的线性节点输入是多维的，但输出只是一维，即一个实数。如果我们想要多维的输出，那么就可以并列放置多个节点。设 a1 ,a2 ,...,am 分别是 m 个节点的参数，那么输出则分别为 a1Tx,a2Tx,...,amT x. 最终的输出结果为
其中 W = [a1,a2,...,am] 是一个 n 行m 列的参数矩阵。
2、多层线性节点:
多层线性节点中，某一层带激活函数的线性节点，输出作为下一层的输入 。通常中间层(或者隐藏层，图中的蓝色节点)会带有一个激活函数，来增加模型的表达力 。(思考: 如果隐藏层没有激活函数，为什么两层线性节点和一层等价?)
多层线性节点实例
1. 多层表达异或函数 x ⊕ y，异或函数的真值表为:
这是一个不可线性分隔的函数，不可以一个线性节点表达。但我们可以使用多层的线性节点来完成这个任务。
多层线性节点的表达力
可以证明，多层神经元可以表达所有连续函数。证明比较复杂，有兴趣的粉丝可以去看下: A visual proof that neural nets can compute any function
总结
其实在本篇文章中，我们还有很多常见的节点没有讲到， 如 ReLu, sigmoid, dropout 等。神经网络不仅有正向计算，还有反向传导，这些节点的出现和反向传导息息相关……
如果你想更加系统学习人工智能知识与技能，在职场中挖掘新的机会，让来自硅谷的前沿科技教育平台 Udacity 来帮你。
Udacity 联手无人车之父 Sebastian Thrun、GANs 之父 Ian Goodfellow 和谷歌 Deepmind 科学家 Andrew Trask 等顶级专家，推出「深度学习基石纳米学位项目」！在学习过程中，你不仅可以获得硅谷顶级讲师的指导，还将挑战超酷实战项目，并享受 Udacity 导师一对一指导、逐行代码审核、同步学习小组等学习服务。每周投入10个小时，零基础 也能成为 硅谷认证 的深度学习高手！
毕业时，你还将享受 Udacity 的就业推荐服务，获得更多加入IBM、腾讯、滴滴出行等领先科技企业的机会！
Udacity 顶尖合作名企
如何加入这么酷的课程？
本期课程 限定 350 席，即刻扫描下方二维码抢占先机，优先享受以下福利：
＊ 硅谷式仿真课堂体验限免入口；
＊ 独家《深度学习终极职业指南》
＊ 和人工智能领域的学长交流解惑
硅谷式课堂仿真体验
点击 [阅读原文] ，给自己一个成为硅谷认证深度学习高手的机会！