的创新在于，它反向传播时，只传播梯度大于零的部分，抛弃梯度小于零的部分。这很好理解，因为我们希望的是，找到输入图片中对目标输出有正面作用的区域，而不是对目标输出有负面作用的区域。其公式如下：

Search）对输入进行超像素合并，产生基础的子区域。然后将小的子区域不断合并成大区域，并从中找出可能存在物体的区域，这个过程即候选区提取（Region

VQA中最核心的问题是如何提取文字和图像的特征，并进行特征融合。由于卷积神经网络在图像分类中取得了巨大进展，之前的方法大多用基于分类的网络提取图像的全局特征，对于问题通过embeding

38.4）：相比于（f），（c）有两点不同：一个是使用了多尺度的特征层做预测，另一个是不同尺度的框被映射到不同的特征层。从(c)的效果明显好于(f)来看，这种尺度信息分离的方式是非常必要的。

name”是3个单词组成的序列，翻译成中文为“你叫什么名字”，由4个汉字词组成。标准的RNN无法处理这种输入序列和输出序列长度不相等的情况，解决这类问题的一种方法是序列到序列学习（Sequence

SIGAI推荐SIGAI资源汇总六折上雷明老师亲授课程XGBoost是当前炙手可热的算法，适合抽象数据的分析问题，在Kaggle等比赛中率获佳绩。市面上虽然有大量介绍XGBoost原理与使用的文章，但少有能清晰透彻的讲清其原理的。本文的目标是对XGBoost的原理进行系统而深入的讲解，帮助大家真正理解算法的原理。文章是对已经在清华达成出版社出版的《机器学习与应用》（雷明著）的补充。在这本书里系统的讲解了集成学习、bagging与随机森林、boosting与各类AdaBoost算法的原理及其实现、应用。AdaBoost与梯度提升，XGBoost的推导都需要使用广义加法模型，对此也有深入的介绍。理解XGBoost的原理需要决策树（尤其是分类与回归树），集成学习，广义加法模型，牛顿法等基础知识。其中，决策树在SIGAI之前的公众号文章“理解决策树”中已经做了深入的讲解。集成学习在之前的公众号文章“随机森林概述”，“大话AdaBoost算法”，“理解AdaBoost算法”中已经做了讲解。牛顿法在之前的公众号文章“理解梯度下降法”，“理解凸优化”，“理解牛顿法”中已经进行了介绍。如果读者对这些知识还不清楚，建议先阅读这些文章。

AdaBoost算法最成功的应用之一是机器视觉里的目标检测问题，如人脸检测和行人检测。车辆检测。在深度卷积神经网络用于此问题之前，AdaBoost算法在视觉目标检测领域的实际应用上一直处于主导地位。

map的网络结构,为了探索feature的复用情况,作者进行了相关实验.作者训练的L=40,K=12的DenseNet,对于任意Denseblock中的所有卷积层,计算之前某层feature

全方位覆盖AI经典算法与工业应用，紧跟业界新趋势，让你始终站在技术前沿。

向量空间模型是将文本表示成实数值分量所构成的向量，一般而言，每个分量对应一个词项，相当于将文本表示成空间中的一个点。向量不仅可以用来训练分类器，而且计算向量之间的相似度可以度量文本之间的相似度。

首先开讲的是雷老师，他是SIGAI一系列畅销文章的主要作者，主要特点是思路清晰、深入浅出，擅长用生动形象的语言讲解复杂的技术原理。

x1,...,xm是输入，w1,...,wm则是权值，注意上面的式子里有一个θ，激活函数本身的定义就反映了神经元的“全或无法则”。为了让这个式子更加简单，可以把阈值θ进一步放在z的一边，并定义，w0

generator通过θ和定义的变换方式寻找输出与输入特征的映射T(θ),Sample结合位置映射和变换参数对输入特征进行选择并结合双线性插值进行输出,下面对于每一个组成部分进行具体介绍。

接下来，将卷积核矩阵也转换成向量。具体做法是，将卷积核矩阵的所有行拼接起来形成一个行向量。每个卷积核形成一个行向量，有个nkernel卷积核，就有个nkernel行向量。假设有一个ss的卷积核矩阵：

这里，文章按照不同分类进行了汇总，并且大家可以在公众号上回复文章获取码（如SIGAI0413），便可得到全文下载链接。

SIGAI飞跃计划第一期已经进行4周了，在这4周的学习中，同学们提出了不少好问题。在这里，我们将每周直播答疑的问题进行筛选和整理，写成今天的公众号文章，供大家参考。相信会对大家的学习和实践有所帮助！

激活函数由神经元层完成，它们的基类是NeuronLayer，所有的激活函数层均从它派生得到，下面分别进行介绍，限于篇幅，我们只介绍一部分，其他的原理类似。此外，Dropout机制也由神经元层实现。

在ScSPM之后是LLC，LLC对ScSPM的改进，在于引入了局部约束，其实也就是上文提到的VLAD向量，LLC是把特征量化到附近的多个聚类中心，所以才有局部约束这种提法。盗用一下Jinjun

如果样本量很大，在整个抽样过程中每个样本有0.368的概率不被抽中。由于样本集中各个样本是相互独立的，在整个抽样中所有样本大约有36.8%没有被抽中。这部分样本称为包外（Out

于是x1,1只能通过来影响；而x3,3能通过来影响。显而易见，虽然x1,1和x3,3都位于第二层特征感受野内，但是二者对最后的特征的影响却大不相同，输入中越靠感受野中间的元素对特征的贡献越大。

PCA是一种线性降维技术，对于非线性数据具有局限性，而在实际应用中很多时候数据是非线性的。此时可以采用非线性降维技术，它们都通过一个非线性的映射函数将输入向量x映射成一个更低维的向量y：

实验使用了三个标准人群计数数据集：UCF_CC_50、Shanghaitech和WorldExpo’10。实验结果表明提出的方法相比于已有的方法具有更高的准确率。

同时在本微信公众号中，回复“SIGAI”+日期，如“SIGAI0515”，即可获取本期文章的全文下载地址（仅供个人学习使用，未经允许，不得用于商业目的）。

我们大多数学习计算机的人，老师总会教导我们计算机本身就是0，1构成的，不管软件还是硬件，但是大家(特别是有软件工程背景的人)经常忽略的是在计算机中，时序电路的引进，才使得存储程序这一设计能够实现。

机器学习算法处理的数据一般都是向量、矩阵或者张量。经典的机器学习算法输入的数据都是特征向量，深度学习算法在处理图像时输入的2维的矩阵或者3维的张量。掌握这些概念是你理解机器学习和深度学习算法的基础。

DCGAN）。图2为DCGAN生成器结构图。本质上，DCGAN是在GAN的基础上提出了一种训练架构，并对其做了训练指导，比如几乎完全用卷积层取代了全连接层，去掉池化层，采用批标准化(Batch

至此，我得到了这个简单网络对所有参数的偏导数，接下来我们将这种做法推广到更一般的情况。从上面的结果可以看出一个规律，输出层的权重矩阵和偏置向量梯度计算公式中共用了。对于隐含层也有类似的结果。

图的左半部分列出了常用的机器学习算法与它们之间的演化关系，分为有监督学习，无监督学习，强化学习3大类。右半部分列出了典型算法的总结比较，包括算法的核心点如类型，预测函数，求解的目标函数，求解算法。

卡哈尔致力于观察视网膜神经细胞之间的联系，这里的观察是真的用眼睛看，他的这种研究只需一台过得去的显微镜就能开张了。这主要是因为卡哈尔本身并不富裕(看看那简陋的实验台和打满补丁的外套),

Networks）模型使用分割网络支持倾斜文本检测。它使用Resnet-101做基础网络，使用了多尺度融合的特征图。标注数据包括文本实例的像素掩码和边框，使用像素预测与边框检测多目标联合训练。

这里，文章按照不同分类进行了汇总，并且大家可以在公众号上回复文章获取码（如SIGAI0413），便可得到全文下载链接。

确定一个样本所属类别的一种最简单的方法是直接比较它和所有训练样本的相似度，然后将其归类的最相似的样本所属的那个类，这是一种模板匹配的思想。下图6.1是使用k近邻思想进行分类的一个例子：

对第二个想法，我们可以进一步改进：如果将3*3的kernel删成某个固定的形状，例如下图中，那么我们可以修改im2col操作，保证卷积的正确性，这就是Group-level的裁枝(图4中所示)

同时在本微信公众号中，回复“SIGAI”+日期，如“SIGAI0515”，即可获取本期文章的全文下载地址（仅供个人学习使用，未经允许，不得转载，不得用于商业目的）。

在这里我必须强调，很多(如果不是所有的话)计算的第一步都是猜一个值G，并且认为这个猜的值G就是你想要的。然后，通过定义一个检查的标准，在这个例子中我们可以用|G2-2|0,

上式中称为残差，整个式子就是样本的残差平方和，我们的目的是最小化此损失函数。在一些应用中通常会使用均方差（MSE）作为一项衡量标准。对于整个训练集来说，关于训练集的平均损失可以称作经验风险,即：

B小朋友稍微聪明了点，会根据经验把可以区域挑选出来在进行判别，类似使用了SelectiveSearch[1]、EdgeBoxes[2]、Bing[3]等proposal的方法，大大缩小了搜索的空间；

Boosting），是一种用于二分类问题的算法，它用弱分类器的线性组合来构造强分类器。弱分类器的性能不用太好，仅比随机猜测强，依靠它们可以构造出一个非常准确的强分类器。强分类器的计算公式为：

各位SIGAIer，SIGAI欢迎业内专家来平台投稿，大家一起共建专业的人工智能知识分享平台。投稿一旦接收，SIGAI将会赠送雷明老师的《机器学习与应用》签名书，并根据实际情况提供相应的报酬和福利。

除此之外，使用多阶段监督，对于各个阶段的预测输出都有监督训练，避免过深网络难以优化的问题，而且感受野随着stage的增多而逐渐增大，最后值得一提的是第一阶段对原图提取特征的网络区别于stage

变换之后的各个维度被称为主成分，各个维度之间是线性无关的。为了使变换后的数据各个维度提供的信息量从大到小排列，变换后的数据的各个维度的方差也应该是从大到小排列的。数据经过

（FlowNetCorr）为了提升网络的匹配性能，人为模仿标准的匹配过程，设计出“互相关层”，即先提取特征，再计算特征的相关性。相关性的计算实际上可以看做是两张图像的特征在空间维做卷积运算。

接下来让钱大夫学习，他同样学习这些病例，但重点要关注被赵大夫误诊的那些病例，经过一番训练，钱大夫达到了75%的准确率。学习完之后，他也调整了这些病例的权重，被他误诊的病例，加大权重，否则减小权重。

SIGAI微信技术交流群已经运营3周了，在这期间群友们对很多技术问题进行了热烈的讨论，在这里，我们将精华的话题整理出来，做一个总结。以后在每个月我们都会有类似的总结，敬请期待。

牛顿法不仅可以用来求解函数的极值问题，还可以用来求解方程的根，二者在本质上是一个问题，因为求解函数极值的思路是寻找导数为0的点，这就是求解方程。在本文中，我们介绍的是求解函数极值的牛顿法。

全方位覆盖AI经典算法与工业应用，紧跟业界新趋势，让你始终站在技术前沿。

首先，你要知道本次行驶的起始地和目的地。如果是老司机，你会知道按照什么样的路线开到机场去；如果不是，则需要借助导航软件，它将为你计算出一条最优的行驶路径。下面是搜狗地图为我们计算出来的路径：

作者用HOG+CSS+SVM作为第一级检测器，进行预过滤，把它的检测结果再使用卷积神经网络来进一步判断，这是一种由粗到精的策略，下图将基于JointDeep的方法和DPM方法做了一一对应比较。

全方位覆盖AI经典算法与工业应用，紧跟业界新趋势，让你始终站在技术前沿。