Papers With Code：一文看尽深度学习这半年

Ross Taylor 极市平台

极市平台是专业的视觉算法开发和分发平台，加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“阅读原文”立刻申请入群~

编译：岳排槐
来源：量子位


追踪深度学习这样一个大热领域的进展并不容易。


为了解决这个问题，年初我和Robert Stojnic搞了Papers With Code，这个网站把深度学习的研究论文和代码结合在一起。


这也能让我们有机会鸟瞰这个领域，包括研究趋势、热门框架以及哪些技术正受到青睐。这篇博文就用来分享这些。


以下的趋势总结，都来自于网站的数据。我们一起来总结下2018下半年的关键突破，以及深度学习社群的未来之路。

最热模型：BERT、vid2vid和graph_nets

Google AI十月发布的BERT论文，引发了深度学习界的强烈关注。这篇论文提出了一种深度双向Transformer模型。BERT刷新了11种NLP任务的最佳表现，包括斯坦福问答数据集（SQuAD）。

Google AI随后开源了这篇论文的代码，一个月的时间，BERT在GitHub上已经获得8000多次的标星，而且还在快速增加。


论文：
https://arxiv.org/abs/1810.04805

GitHub地址：
https://github.com/google-research/bert




英伟达的Video-to-Video（vid2vid）合成论文，介绍了一个效果惊人的生成模型，过去几年里这也是最受欢迎的深度学习领域之一。


这篇论文利用新颖的顺序生成器架构，以及一些诸如前景和背景先验（foreground-and-background priors）等设计特征，来修复时间不连贯的问题，进而提高性能。

英伟达也开源了代码，成为今年下半年第二大最受欢迎的实现。


论文：
https://arxiv.org/abs/1808.06601

GitHub地址：
https://github.com/NVIDIA/vid2vid




Google DeepMind关于图网络（graph_nets）的论文，在年中的时候获得了大量的关注。这个研究，为深度学习提供了一种数据结构化的新方向。这是今年下半年第三大最后欢迎的实现。


论文：
https://arxiv.org/abs/1806.01261v3

GitHub地址：
https://github.com/deepmind/graph_nets


最流行的项目：DeOldify、BERT和Fast R-CNN


DeOldify是一个使用GAN修复黑白老照片以及重新上色的项目。


这个项目在深度学习社群引发极大的兴趣，作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前，这个项目在GitHub上超过4000标星。


GitHub地址：
https://github.com/jantic/DeOldify




BERT的PyTorch实现，也获得了广泛关注。


这个实现是韩国小哥Junseong Kim完成的，他表示代码很简单，而且也易于理解，其中一些代码基于The Annotated Transformer。目前这个项目在GitHub上获得1500多标星。


GitHub地址：
https://github.com/codertimo/BERT-pytorch




最后要介绍的，是Mask R-CNN的Keras/TensorFlow实现。


这个项目的架构，基于一个Feature Pyramid Network和一个ResNet101 backbone。这个库可用于多种场景，例如3D场景重建、自动驾驶的目标检测等。目前这个项目在GitHub上标星超过8000。


GitHub地址：
https://github.com/matterport/Mask_RCNN



数说现状

NLP和GAN最热

查看Top50的实现，最热门的字段是生成模型和自然语言处理。


在生成模型中，GitHub上流行的实现包括：vid2vid，DeOldify，CycleGAN以及faceswaps。


在NLP领域，GitHub上流行的仓库包括：BERT，HanLP，jieba，AllenNLP以及fastText。


7篇新论文中，只有1篇附代码


每隔20分钟，就会出现一片新机器学习论文


自从7月以来，机器学习论文的月增长率一直在3.5%左右，年增长率约50%。这意味着每个月2200篇机器学习论文被发布，明年约有3万篇新机器学习论文会被发布。


这个速度比摩尔定律还快。


框架双寡头：TensorFlow和PyTorch



最后，如果你还没听说过Papers With Code，下面是传送门：

https://paperswithcode.com/





*推荐文章*

每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击左下角“阅读原文”立刻申请入群~


    阅读原文

    发送中