rate=1的情况下，也得到了10个特征，但是每个特征的感受野为5x5，如右侧蓝色的那个特征覆盖2,3,4,5,6五颗像素（想象二维情况下应该是5x5）。

本文主要实战Logistic回归和softmax回归在iris数据集上的应用，通过该文章，我们学习了logistic回归和softmax回归的分类机制，以及从应用的角度进行了实战学习。

相比于传统的分割模型，GSCNN主要加入了一个单独的分支用来学习边缘信息，称之为形状流。这一结构改进使得分割模型能够更好的预测边缘信息，显著的提升了小物体和细物体的检测效果。

是一种描述图像特征像素点与各个像素点之间的灰度关系的局部特征的非参数算法，同时也是一张高效的纹理描述算法。LBP算法首次提出于1994年，主要是使用8邻域位置的局部关系，具有灰度不变性。

太多的公众号每天的文章是否让你眼花缭乱？刷了好多文章，发现大都是转来转去？今天我在全网公众号里为大家精选主题为深度学习目标检测算法的文章12篇，其中包括综述,R-CNN,SPP-Net,Fast

这38篇原创文章带我入门卷积神经网络，循环神经网络和强化学习，希望对您有帮助。

游戏的效果都相当好。在大多数动作游戏中，它可以达到超人的技能，但它在长时运行的游戏中却不太好。希望有些收获，欢迎留言或进社区共同交流，喜欢的话，就点个赞吧，您也可以置顶公众号，第一时间接收最新内容。

游戏的效果都相当好。在大多数动作游戏中，它可以达到超人的技能，但它在长时运行的游戏中却不太好。希望有些收获，欢迎留言或进社区共同交流，喜欢的话，就点个赞吧，您也可以置顶公众号，第一时间接收最新内容。

找到了一种估计任何状态S最佳状态值的方法，就是利用智能体在其采取最佳行为达到状态s之后，所有未来衰减奖励总和的平均期望。他表明，如果智能体的行为最佳，那么对于所有的状态s可以利用如下公式：

gradient_placeholders.append(gradient_placeholder)grads_and_vars_feed.append((gradient_placeholder,

接下来我们创建一个神经网络策略，就像刚才写的一样。这个神经网络用观测值作为输入，将执行的动作作为输出。更精确的说，它将估计每个动作的概率，然后我们将根据估计的概率随机地选择一个动作如下图：

智能体也可以不用去控制一个实体（或虚拟的）去移动。例如它可以是一个智能程序，当它调整到目标温度以节能时会得到正奖励，当人们需要自己去调节温度时它会得到负奖励，所以智能体必须学会预测人们的需要。

从上图看，感觉这些数字还挺像回事儿，虽然有一些看起来比较有“创意”，但是在这种自编码器上已经很不错了，而且这只是简单的训练，训练时间少于一小时，如果给更多的训练时间的话，这些数字应该看起来更完美。

噪声可以是纯粹的高斯噪声添加到输入，或者它可以随机关闭输入，就像之前学的dropout，深度学习算法(第7期)----深度学习之避免过拟合(正则化)

plot_image(outputs_val[digit_index])从重构上看，输出已经和输入足够接近。因此，自编码器已经学会了如何生成和自己一样的输出，但是它到底学到了哪些有用的特征呢？

右边的训练操作相当于是训练的第二个阶段，它旨在使得隐藏层3尽可能的逼近隐藏层1。注意到，在训练第二个阶段的时候，我们必须冻结隐藏层1，这个阶段，我们将训练隐藏层2和隐藏层3的权重和偏置。

在这个例子中，有784个输入，接着是一个300个神经元的隐藏层，然后中心隐藏层（编码层）是由150个神经元组成，再接着就又是300个神经元，最终输出为784个神经元（跟输入一致）。

如果自编码器仅仅使用线性激活函数，并且用MSE作为损失函数的话，则它将最终收敛为我们之前学过的PCA（主成分分析）模型（见下链接）。机器学习三人行(系列十)----机器学习降压神器(附代码)

第三，教程的实现使用了一种注意力机制，让解码器能够监视输入序列。注意力增强的RNN，这里不做详细讨论，但如果你有兴趣，可以关注机器翻译，机器阅读和图像说明的相关论文。

我们知道，在前面的RNN或者CNN中，我们在训练网络的时候，不管输入还是输出，都是数值型的数据参与数学矩阵就算，然而面对自然语言中的单词，是没办法进行矩阵运算的，那么单词该怎么输入到网络中呢？

上期我们一起学习了RNN的STML模块，深度学习算法(第22期)----RNN中的LSTM模块术今天我们一起简单学习下RNN中的另一个常用模块GRU模块

上期我们一起学习了RNN为了防止过拟合的DropOut技术，深度学习算法(第21期)----RNN中的Dropout技术今天我们一起简单学习下RNN中的LSTM

上期我们一起学习了如何训练RNN并预测时序信号，深度学习算法(第20期)----创意RNN和深度RNN的简单实现今天我们一起简单学习下RNN中的Dropout的实现。

dtype=tf.float32)这就是一个简单的深度RNN的例子，状态变量是一个包含每层一个tensor的元组。每一个代表那个层的神经元的最终状态（shape为[batch_size,

100个循环神经元，由于训练样本的长度为20，所以我们将其展开为20个时间片段。每一个输入包含一个特征值（那一时刻的值）。同样，目标也包含20个输入，代码如下，和之前的差不多：

mnist.test.labels现在，我们将对上面的RNN进行training，在执行阶段跟之前的dnn也是非常类似的，如下：

今天我们主要从输入和输出序列的变化长度方面，来理解了下RNN的怎么处理的方面的知识，希望有些收获，欢迎留言或进社区共同交流，喜欢的话，就点个在看吧，您也可以置顶公众号，第一时间接收最新内容。

n_inputs]的tensor。而且不用像前面一样要通过unstack，stack，transpose等函数转来转去的。下面的代码用dynamic_rnn()创建了和前面一样的RNN。比较漂亮！

上期我们一起学习了RNN中输入输出任性的组合方式深度学习三人行(第14期)----RNN输入输出的组合有多任性原理学习了两期，今天我们一起看下在tensorflow中基本的RNN是怎么实现的。

在当前时刻的输出记为Y(t)，也是当前时刻的输入和之前时刻的状态的函数。在我们当前所讨论的记忆单元的形式的情况下，当前状态是和当前输出相等的，但是更为复杂的记忆单元的情况下，往往是不一样的。如下图：

前面说了，RNN作为深度学习知识系统中的重要组成部分，不了解RNN，就不能说熟悉深度学习。机器学习的两大主要任务：分类和回归，CNN主要用于图像分类，然而RNN主要用来时序信号的预测。

为了解决这个问题，我们得将这个加载到残差块输出的输入稍微通过一个1x1的卷积层（stride=2）修改一下shape，来保证输入和输出的尺寸一致。这样就可以直接叠加到残差块的输出上了。如下图：

首先就是降维，这些层的作用是使得输出的深度比输入的低，所以又称为瓶颈层，这样就达到一个降维的目的。这个效果在3x3和5x5的卷积层之前就特别有效，大大降低了训练权重的数量。

MNIST数据的图像是28x28尺寸的，但是在输入网络之前，图像被0扩充到了32x32,并且被归一化，而后面的网络并没有用padding，所以图像的size会随着网络的加深而不断变小。

今天，我们从TensorFlow上实现卷积层，以及卷积层的内存计算和池化层的相关原理知识等方面，更进一步的了解了CNN的知识。在学习的路上，我们共同进步，多谢有你。

两个连续感受野的举例叫做stride，上图中，一个5x7的输入层连接了一个3x4的层。这里用了3x3的感受野，stride=2。这样的话上层的(i,j)位置的神经元是连接前一层的哪个位置呢？如下：

print(variable.name)尽管上面的方法可行，但是显得有些繁琐。一个更为简洁的方法就是创建一个最大范数正则化的函数，就好比前面学的L1，L2范数正则化函数一样，如下：

通常，如果我们一开始用一个高的学习率，而当学习进度没那么快的时候，降低学习率的话，会比用一个固定的学习率更快的得到一个最优解。在学习过程中调整学习率有以下几种常见的调整策略：

假设一个圆球从一个斜坡上滚下去，一开始速度会很慢，但是随着时间的增加，速度会越来越快，考虑到摩擦力和空气阻力，最终会达到一个恒定的速度（空气阻力跟速度的平方成正比）。这就是momentum

初始化。tensorflow中通过variance_scaling_initializer()来进行初始化策略设置的，默认情况下，TF的全连接使用均匀分布初始化。

如果您在MNIST数据集上运行此代码（在对其进行缩放后（例如，通过使用ScikitLearn的StandardScaler），您可能会得到一个在测试集上的准确率超过98.2％的模型！

当我们训练好一个模型之后，一般情况下都会保存下来，以备后面调用，或者在训练的过程中，我们有时候也希望将训练的中间结果保存下来，防止训练过程中断电等异常出现，避免重新训练，那么如何保存下来呢？

上图表示定义的一个简单方程计算任务，通过调用TensorFlow库便可以对该任务进行计算。我们知道，任何一门编程语言都可以进行计算如此简单的方程任务，那么我们为什么要用TensorFlow呢？

例如，如果你选择一个单位平方（1×1平方）的随机点，它将只有大约0.4％的机会位于小于0.001的边界（换句话说，随机点将沿任何维度“极端”这是非常不可能的）。

另外，如果基学习器中包含预测概率predict_proba()的方法，BaggingClassifier会自动的选择效果更好的软投票分类器。下面我们来比较一下，单个决策树和组合决策树训练之后的差别：

该实验中，我们依然用大家熟悉的iris数据集，为了更好的可视化，我们仍然用花瓣的长和宽来进行多分类，直接调用sklearn中的DecisionTreeClassifier，如下代码：

在Skicit-learn中，支持向量机是通过超参数C，来控制这个平衡的，C越小，能够获取到更宽的的分类间隔，但是有很多的误分类点，下图中就展示了在线性不可分的数据集上，两种不同软间隔支持向量机。

上个系列我们系统学习了求解线性回归参数的正规方程法，以及三种常见的梯度下降法。然后讲解了如何将多项式回归用于复杂的非线性数据中，最后学习了减少模型过拟合的三种常见的正则化模型方法，详情戳下面链接：

如果你经历了前面系列的一些操作，如回归系统、数字图像分类器，甚至从头开始建立一个垃圾邮件分类器，这时候你可能会发现我们只是将机器学习模型和它们的训练算法视为黑盒子，所有这些都不知道它们是如何工作的。

注意，此时的训练样本的标签不再是5和非5的标签，而是0-9的10类标签，对于某一数字的10个分类器的得分如上图，从上图中可以看出第五个分数是最高的，那么多分类分类器对于这个数字的预测结果就是5。