《神经网络和深度学习》系列文章三十五：S型神经元的延伸

出处： Michael Nielsen的《Neural Network and Deep Learning》，点击末尾“阅读原文”即可查看英文原文。

声明：我们将在每周四连载该书的中文翻译。

本节译者：朱小虎 、张广宇。转载已获得译者授权，禁止二次转载。

---

• 使用神经网络识别手写数字

• 反向传播算法是如何工作的

• 改进神经网络的学习方法

• 神经网络可以计算任何函数的可视化证明

• 两个预先声明

• 一个输入和一个输出的普遍性

• 多个输入变量

• S型神经元的延伸

• 修补阶跃函数

• 结论

• 为什么深度神经网络的训练是困难的

• 深度学习

我们已经证明了由 S 型神经元构成的网络可以计算任何函数。回想下在一个 S 型神经元中，输入 导致输出 ，这里  是权重， 是偏置，而  是 S 型函数：

如果我们考虑一个不同类型的神经元，它使用其它激活函数，比如如下的 ，会怎样？

更确切地说，我们假定如果神经元有输入 ，权重 和偏置 ，那么输出为 。我们可以使用这个激活函数来得到一个阶跃函数，正如用 S 型函数做过的一样。

试着加大上图中的权重，比如 ，你将得到:

正如使用 S 型函数的时候，这导致激活函数收缩，并最终变成一个阶跃函数的很好的近似。试着改变偏置，然后你能看到我们可以设置我们想要的阶跃位置。所以我们能使用所有和前面相同的技巧来计算任何期望的函数。

 需要什么样的性质来满足这样的结果呢？我们确实需要假定  在  和  时是定义明确的。这两个界限是在我们的阶跃函数上取的两个值。我们也需要假定这两个界限彼此不同。如果它们不是这样，就没有阶跃，只是一个简单的平坦图形！但是如果激活函数  满足这些性质，基于这样一个激活函数的神经元可普遍用于计算。

问题

• 在本书前面我们遇到过其它类型的称为修正线性单元的神经元。解释为什么这样的神经元不满足刚刚给出的普遍性的条件。找到一个普遍性的证明，证明修正线性单元可普遍用于计算。

• 
  假设我们考虑线性神经元，即具有激活函数  的神经元。解释为什么线性神经元不满足刚刚给出的普遍性的条件。证明这样的神经元不能用于通用计算。

---

• “哈工大SCIR”公众号

• 编辑部：郭江，李家琦，徐俊，李忠阳，俞霖霖

• 本期编辑：李忠阳

长按下图并点击 “识别图中二维码”，即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号：”哈工大SCIR” 。点击左下角“阅读原文”，即可查看原文。