下表是实验用的模型，它们都是从业者会在各类任务中使用的主流模型。表中也展示了我们用于每个模型和数据集的学习率。学习率的作用是加速神经网络训练，但找到最佳学习率本身是一个优化问题。

来源：patniemeyer.github编译：Bing在今年六月份举行的WWDC18大会上，苹果介绍了全新的升级版“Animoji”——Memoji，用户可以选择不同的发型、五官和肤色来定制自己专属的表情符号，例如选择不同的肤色、发型甚至雀斑，并且有多种颜色。但是，选择毕竟是有限的，在多种样式中对比查找也有一定难度，那么是否有一种算法可以根据照片生成Memoji呢？在这篇博文中，我们将介绍一种用神经网络从真实照片中生成苹果Memoji表情的方法。具体来说，我测试了用于人脸识别的网络VGG16

来源：Nature编译：Bot在智利北部安第斯山脉高达2700米的塞隆·帕切翁山巅，美国的“大型综合巡天望远镜”（LSST）正在紧锣密鼓地施工着。到2022年，也就是LSST正式投入使用的时候，它将把30亿像素的相机对准太空，每晚完成30千兆的拍摄任务，这会是人类研究宇宙暗物质的一大基础.而为了处理望远镜每天自动生成的TB级数据，天文学家们开始转向数据科学，把数据科学家们熟悉且常用的一种工具——Jupyter

List的上的数据。毫无疑问，TensorFlow是这方面的赢家。如果你想找一份深度学习的工作，可以学一下TensorFlow。我通过“machine

Regression继续梯度下降的课程，首先我们会用PyTorch帮助我们从零开始应用逻辑回归，我们会建立一个针对经典手写数字的MNIST数据集的模型。Lesson

来源：paperspace编译：weakish编者按：DRDO研究人员Ayoosh

本文将使用matplotlib和seaborn绘制图形，同时使用numpy和pandas处理数据。matplotlib提供了一些可以用来制作动画的函数。闲话少叙，让我们开始吧，首先，是引入所有依赖。

alignment，它们都包含一个单独的关键点检测模块，在检测结果上再运用几何推理。在本文中，我们探讨了一个问题，即能否构建一个端到端的几何推理模型，把关键点直接联合优化为下游任务的一组潜在变量。

1)处理完数据后，我们就可以和之前一样运行模型。但是，我们做了一个重要的修改：不使用model.train()

Super-Resolutioin一文，将神经网络迁移作为用感知损失处理超分辨率问题的框架。结果表明该算法比Gatys等人的方法快了三倍。接下来，我将介绍如何在自己的图像和视频流中应用神经风格迁移。

编者按：由于大量数据保存在关系数据库中，因此数据科学家难免要和SQL打交道。当然，面试的时候也常常考察SQL。Moratuwa大学生物信息学研究员Vijini

来源：arXiv编译：Bot编者按：今天外网有一篇论文非常火，它提出了一种序列到序列预测的新方法，无需编码器和解码器，只用一个2D卷积神经网络就能超过现有方法的性能。当然，论文内容绝不是点赞的唯一理由……重点是，真的好萌摘要当前最先进的机器翻译系统都基于Encoder-Decoder框架：输入序列后，系统先对序列进行编码，然后基于输入序列的编码生成输出序列。为了让系统能基于解码器状态重新组合源语句单词的固定编码，现在编码器和解码器中间往往会有一个注意力模型。我们提出了一种替代方法，它依赖于跨两个序列的单个2D卷积神经网络。网络的每一层都会根据到目前为止产生的输出序列重新编码源语句单词。因此，其实类似注意力的属性在整个网络中都是普遍存在的。实验证明，我们的模型产生了出色的结果，它优于最先进的Encoder-Decoder框架，同时，它在概念上更简单，参数也更少。简介现如今，深层神经网络对自然语言处理技术产生了深远的影响，其中以机器翻译（MT）最为明显。这是一种序列到序列的预测问题，解决它的最先进方法是使用带注意力模块的编码器-解码器模型。注意力模块能在解码过程中重复地重新访问源序列，提高模型的预测效率和精度。但是，注意力机制存在局限。它的常规做法是在源语句上做简单加权，用到的权重也只是源单词和目标单词之间的浅匹配结果。它只能重新组合相同的源单词编码，在解码时并不能重新编码，也无法重新解释源序列。为了解决这些局限，我们提出了一种基于深层2D卷积神经网络（CNN）的新方法。它和图像、音频生成模型的自回归模型类似，用源序列和目标序列的输出空间定义网络中的2D网格，同时禁止卷积filter从目标序列的单词中获得未来信息。具体如下图所示：卷积层的filter大小是3×3，它只能根据先前的输出计算，不能读取目标序列内容。图中深蓝色表示一层感受野，浅蓝色是二层感受野，灰色部分是filter被禁止查看的部分输入源-目标张量：设给定源语句的长度为|s|，目标对(s,

由于我们的目标变量是连续值（售价），因此这是一个典型的回归问题，让人联想起波斯顿房价数据集。评估标准为预测和实际售价的接近程度（预测值的对数与观测到的售价的对数的均方根误差）。

Nash却只能证明它存在，没法真正确定均衡的位置。在复杂博弈中，找到纳什均衡可能需要大量计算——但是如果这种计算方法不能被用于所有博弈类型，那研究人员花那么多精力、物力找到它还有意义吗？

首先，我们会大致介绍八种建立在OpenCV上的目标检测算法。之后我会讲解如何利用这些算法进行实时目标追踪。最后，我们会比较各个OpenCV目标追踪的效果，总结各种方法能够适应的环境。

42非常喜爱这个工具，我们也可以借此为接触更多有趣实现做准备，如：如何用100行神经网络代码为黑白图片着色如何用深度学习做“前端”：基于设计模型图片生成HTML和CSS代码下面，让我们正式开始！1.

注意：如果你想要试验其他初始化权重，可以在电子表格的“hyperparametersandinitial_wts”表的G3-J7、N3-Q8单元格中输入你自己的值。权重取值范围为-1到1.

Kaggle提供了关于Kaggle的详尽信息，以及上手Kaggle的一些技巧。核核（kernel）是Kaggle用户分享的代码（Jupyter

scrapy.Field()将其保存在fundrazr/fundrazr目录下（覆盖原本的items.py文件）。爬虫我们定义爬虫类，供Scrapy使用，以抓取一个网站（或一组网站）的信息。#

虽然云GPU的花费普通人还能负担得起（每小时大约50美分，约合人民币3.4元），但是很多学生表示确实有点贵。在某些国家因为规定，他们无法使用像AWS这样的服务，现在谷歌Colab

Thomas为我们讲述了机器学习从业者实际上都要做什么。在本文中，她针对目前很受欢迎的机器学习自动化发表了自己的看法，隐约地表明自动化实际上很费计算力同时还有更好的替代方法。以下是论智对博文的编译。

Dean表示，目前数千万家公司会产出电子数据，但是缺少会机器学习技术的人才。而我在fast.ai的工作正是让更多的人学会机器学习技术、让这种技能变得更易掌握，所以我对这一问题进行了而深入研究。

泰坦尼克号数据集适合初学者，由于比较小，影响输出结果的各项特征也比较好找。我们的任务是根据表格数据预测乘客的生存概率，因此可以被用来辅助预测的列是X，预测的目标列则是Y。下面是数据集中的部分数据：

使用Tensorflow的目标检测API，可以快速搭建目标检测模型。如果你不熟悉这套API，可以看下我之前写的介绍Tensorflow目标检测API，以及如何使用该API搭建定制模型的博客文章。

tf计算图：导入Tensorflow后，我们得到了一个空白的计算图，表示一个孤立的、空白的全局变量。在这个基础上，我们再进行一些“Tensorflow操作”：代码：import

Shridhar最终排名第五。其中的方法非常通用，可以用在其他图像识别任务上。任务概览你能分清楚杂草和庄稼苗吗？如果能高效识别杂草，就能有效地提高粮食产量，更好地管理环境。Aarhus

这是一篇很长很长的文章，特别是对权重初始化这样我们认为理所当然的主题而言。不过我觉得，为了真正领会它的重要性，应该循序渐进，并在此过程中遭遇相应的问题，正是这些问题促使了今天使用的初始化方案的开发。

Optimization

编者按：对于机器学习和数据科学的入门者来说，“有什么好用的IDE/环境/工具？”是他们提出的最常见的问题之一。这确实也是个不怎么好回答的问题，因为它没有具体选项——从面向特定语言的IDE（如R

深度学习方法在传统目标检测上的应用是非常重要的。而卫星图像的特殊性使能够解决空间前景内容、能进行旋转变换以及大范围搜索的算法成为必要的。除了安装细节，算法还必须满足以下四个条件：

其中，类别值是分配给数据集中条目的数值编号。比如，如果我们在数据集中新加入一个公司，那么我们会给这家公司一个新类别值4。当独特的条目增加时，类别值将成比例增加。

让我们考虑一项调查结果，关于Booking.com和TripAdvisor.com上列出的旅馆。这里的特征是不同类别（包括服务质量、房间状况、性价比等）的平均评分。目标变量为旅馆在网站上的总评分。

map中的特征，这是一个从低层次特征中提取高层次特征的过程，虽然我们不知道计算机看到了什么，但如果拿人类学习来类比，这一步可以被理解为从之前看到的边缘、曲线中找出能组成半圆、正方形的线条组合。

Datathon），依靠各种boosting算法，我最后挤进了前十名。虽然成绩很好，但从那之后我就对模型集成学习的细节感到十分好奇：那些模型是怎么组合的？参数怎么调整？它们各自的优点和缺点又是什么？

许多年来，只使用单一权重层的简单迁移学习非常受欢迎，例如谷歌的word2vec嵌入。然而，实际中的完全神经网络包含很多层，所以只在单一层运用迁移学习仅仅解决了表面问题。

意味着这是一个定义，不是一个等式，或证明的结论。a是学习率（称为alpha）。dL(w)是总损失对权重w的导数。da是alpha的导数。我们在一些试验之后将学习率定为0.07.#

长远来看，这样类似的方法还能用来检测大脑的某一区域，例如负责捕捉声音或控制肢体的地方。未来，这类网络也许能像科学家提供不一样的试验方法，或者提出新的理论，甚至完成目前只能在小动物身上做的实验。

作者：Christopher

++的扩展。因为我们正在替换（或重构）后端ATen库，以整合来自Caffe2的功能和优化。进度观察地址：github.com/pytorch/pytorch/pulls

RNN。此外一些人也一直在尝试用完全不同的方法来解决长期依赖问题，比如Koutnik等人的Clockwork

Pechyonkin讲述快照集成、快速几何集成、随机加权平均背后的直觉。本文将介绍最近的两篇论文，这两篇论文使用巧妙的集成方法改进了神经网络的优化过程。这两篇论文是：Garipov等的Loss

编者按：让打高尔夫的人做瑜伽，让做瑜伽的人打网球……现在，可以用技术让照片上的人“动”起来了。MIT的研究团队就发明了一种架构，可以用用一张图片合成新的图片，改变其中人的动作。以下是论智的编译。

这样的解降低了分散程度，但增加了偏置，因为参数的正则向量同时最小化了，这导致解朝零移动。在下图中，OLS解为白色虚线的交点。蓝点表示岭回归的不同解。可以看到，通过增加正则化参数λ，我们使解朝零移动。

这里是最有意思的部分了。我们之前看到验证损失糟糕地发散的模型，验证精确度实际上是最优的。就验证损失而言看起来概括性更好的模型，从验证精确性的角度而言，概括性并不好。记住这一点很重要。

另外，我的初始化权重“运气不错”（也许使用42作为种子是个吉兆？！），所有三个网络都在150个epoch的训练中学习到了正确分类所有情形。事实上，训练对初始化高度敏感，但这将是后续文章的主题。

为了解释熵这个概念，让我们想象一个分类男女名字的监督学习任务。给定一个名字列表，每个名字标记为m（男）或f（女），我们想要学习一个拟合数据的模型，该模型可以用来预测未见的新名字的性别。

在SC操作模式中，该系统能将图像中保留下来的内容和合成内容无缝衔接，即使被许多物体隔开的场景也很自然。利用这种分区域图像生成的方法，图像的像素深度减少了50%，但是没有明显降低图像质量。

[T]时，Γt始终大于等于0。这是它们的基本梯度更新规则，所以它们的学习率始终是单调递减的。但是基于指数移动平均值的RMSProp和Adam却没法保证这一点，当t

在上一篇文章中，我通过一个简单的神经网络介绍了反向传播的基础。反向传播让我们可以测量网络中的每项权重对总误差的贡献。基本上这让我们可以使用一个不同的算法来修改权重，梯度下降（Gradient

θ)是一个在x上的单元函数。u为模型输出。你可以想象一下，如果你选择了一个足够一般的函数家族，有很大的几率，其中一个与f*相似。例如：参数表示矩阵和向量：设计输出层最常见的输出层是：f(x;