本周有哪些值得读的 AI 论文？进来告诉你答案
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。
在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。
点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。
这是 PaperDaily 的第 121 篇文章@Zsank 推荐
#Attention Mechanism
本文来自佐治亚理工学院，这是一篇 Attention 机制在自然语言处理方面的综述文章，包括基本概念和 Attention 在不同 NLP 任务上的模型变种。
▲ 论文模型：点击查看大图
@tobiaslee 推荐
#Text Generation
本文是北京大学孙栩老师组和微软亚洲研究院发表在 AAAI 2019 上的工作。文章介绍了“弹幕生成”任务，根据一定时间范围内的视频帧和评论文本进行弹幕评论的生成，并且构建了基于 B 站的数据集。
通过对数据集的分析发现：弹幕评论长度较短；相邻时间间隔的评论具有较高的关联度。基于此，文章先是利用传统的 Seq2Seq 架构，设计了 Video Encoder 和 Text Encoder 进行图像和文字信息的融合，再交由 Comment Decoder 进行生成；进一步地，利用 Transformer 替代 RNN Encoder，提出了一个 Unified Transformer Model。
并且，为了更好的评估模型的性能，文章提出了一个基于生成概率对候选评论进行排序的指标，对比之前的 Seq2Seq 模型，文章提出的两个模型能够取得更好的效果。
▲ 论文模型：点击查看大图
@paperweekly 推荐
#Relation Classification
本文是清华大学刘知远老师组发表于 EMNLP 2018 的工作。和 SQuAD、QAngaroo、CoQA 和 SWAG 等 QA 数据集不同的是，本文基于 Few-Shot Learning 提出了一个大规模有监督关系分类数据集——FewRel。
▲ 论文模型：点击查看大图
@Arborday 推荐
#Word Embeddings
本文是 Zalando Research 发表于 COLING 2018 的工作，论文提出了一种全新产生 embedding 的 BiLSTM 模型结构，模型特点：
1. 模型以 character 为原子单位，在网络中，每个 character 都有一个对应的 hidden state。这个特点对需要多一步分词的中文来说可能有避免因为分词错误导致下游 function 继续错误的弊端；
2. 输出以 word 为单位的 embedding，这个 embedding 由前向 LSTM 中，该词最后一个字母的 hidden state 和反向 LSTM 中该词第一个字母的 hidden state 拼接组成，这样就能够兼顾上下文信息。
这种动态 embedding 的方法在序列标注上取得了良好效果，特别值得一提的是，在 NER 上的表现甚至超越了 BERT，但训练成本只是一个 GPU*一周，训练数据在十亿个词量，与 BERT 相比对硬件的要求极大降低，训练成本的大幅减少却仍有性能上的提升，动态 embedding 的思路值得借鉴和尝试。
▲ 论文模型：点击查看大图
@paperweekly 推荐
#Dialog Systems
本文是微软和台湾大学发表于 ACL 2018 的工作，论文提出了一种针对任务型对话系统的学习方式——Deep Dyna-Q，在仅使用少量真实用户交互数据的前提下，基于集成规划的方法进行对话策略学习。作者将 world model 引入对话 agent，模仿真实的用户响应并不断学习生成模拟的用户对话，利用真实和模拟的对话经验对 agent 进行优化。
▲ 论文模型：点击查看大图
@CYRYOU 推荐
#Natural Language Inference
本文介绍了一种便携式表型系统，它能够集成基于规则和基于统计机器学习的方法。论文利用 UMLS 从非结构化文本中提取临床相关特征，然后通过结合 OHDSI 的 OMOP 促进不同机构和数据系统的可移植性通用数据模型（CDM），用于标准化必要的数据元素。论文提出的系统还可以以 OMOP-CDM 的格式存储基于规则的系统的关键组件（例如，正则表达式匹配），从而实现许多现有的基于规则的临床 NLP 系统的重用、适应和扩展。
论文在 i2b2 的肥胖挑战赛中对便携式表型系统进行了实验，作为一项试点研究。系统基于非结构化患者出院总结，促进肥胖的便携式表型分析及其15种合并症，同时实现了通常在挑战参与者中排名前十的表现。这种标准化使得能够在下游一致地应用许多基于规则和基于机器学习的分类技术。
▲ 论文模型：点击查看大图
@Luolc 推荐
#Goal-Oriented Dialog
本文是微软亚洲研究院和北京大学孙栩组共同完成即将发表在 AAAI 2019 的工作。为对话系统引入个性化是今年对话领域最为火热的研究方向之一。此前有一些工作研究在开放式对话（chitchat）中引入个性化，使得对话生成中可以包含一定的对话者身份的信息，使对话质量更高。而本文关注在鲜有人研究且更加困难的任务型对话领域，探索如何能针对用户的不同身份采取不同的对话策略，提高任务完成率和用户满意度。
本文提出了 Personalized MemN2N 模型，引入 profile embedding，并在对话模型和 KB 之间建立联系，有效地提升了对话系统质量，达到任务型对话个性化数据集上新的 state-of-the-art。在针对任务型研究较少的环境下，这一工作具有非常高的参考价值。
▲ 论文模型：点击查看大图
@hsu 推荐
#Semantic Segmentation
本文是阿德莱德大学发表于 BMVC 2018 的工作，论文关注的问题为实时语义分割。作者将源自 CVPR 2017 的 RefineNet 作为基础网络，结合两种残差模块 RCU（残差卷积单元）和 CRP（链式残差池化）有效减少模型参数和计算量，在 512 x 512 大小的输入图像上将分割速度从 20 FPS 显著提升至 55 FPS。
▲ 论文模型：点击查看大图
@jhy1993 推荐
#Gaussian Embedding
本文来自 Google AI Research。之前的 Gaussian Embedding 都是将 Object 映射为一个高斯分布来捕捉不确定性，但是一个高斯分布足够吗？本文将 Object 映射为一组高斯分布，即混合高斯。本文提出了 HIB 来解决上述问题，所谓的”hedging its bets”就是为了避免损失，多处下注。对应到本文，对于有歧义的输入，将其映射为多个高斯分布，每个高斯分布代表其中一个意思。
针对图像的歧义需求，作者设计了 N−digitsMNIST 数据集，即将 MNIST 中的数字组合成一张新图，这样每张图就有歧义了。
▲ 论文模型：点击查看大图
@Kralkatorrik 推荐
#Face Recognition
本文是商汤科技、香港中文大学和南洋理工大学发表于 ECCV 2018 的工作。在人脸识别数据获取成本越来越高的情况下，作者提出了一种称为 Consensus-Driven Propagation 的模型，采用少量标注数据和大量无标签数据训练，即可获得接近所有数据都有标注的精度。
▲ 论文模型：点击查看大图
@vimjian推荐
#Object Pose Estimation
本文来自欧姆龙和中京大学，论文关注的问题是实时 6D 物体姿态估计。作者提出了一个基于 model 的匹配算法，效果卓越。在 CPU 上就可以达到实时，并且训练只需 CAD 模型。
▲ 论文模型：点击查看大图
@SXKDZ 推荐
#Session-based Recommendation
本文是中国科学院自动化所智能感知与计算中心被 AAAI 2019 接收的论文。会话（session）是服务器端用来记录识别用户的一种机制。在推荐系统中，基于会话的推荐（session-based recommendation）是依据一个时间窗口内用户连续的行为进行推荐。比如，一位用户在登录淘宝的这段时间里连续点击了 10 个商品，那么这 10 个商品就构成了一个会话短序列。由于会话数据具有海量、匿名的特点，基于会话的推荐近来受到了广泛的关注。
为了更好地捕获会话的结构并考虑节点间的转换，该论文提出了一种基于图形神经网络（graph neural network, GNN）的会话推荐（SR-GNN）方法。该方法将所有会话序列聚合在一起并建模为图结构。基于该图，GNN 可以捕获项目的转换关系。之后 SR-GNN 使用注意力机制将每个会话表示为全局偏好和会话当前兴趣的组合并据此进行推荐。在两个开源数据集上，SR-GNN 模型的性能持续并显著地好于其他 SOTA 方法。
▲ 论文模型：点击查看大图
@paperweekly 推荐
#Graph Convolutional Networks
本文是华盛顿大学发表于 KDD 2018 的工作。图卷积神经网络当前面临着两大挑战：1）图中节点的邻节点数量具有不确定性；2）邻节点之间杂乱无序。
本文提出了一个可学习图卷积层（LGCN）来解决上述挑战。LGCL 基于数值排序自动选择固定数目的邻居节点作为图卷积神经网络的输入特征，使用常规的卷积操作来进行图编码，并借助子图训练方法使 LGCL 能够适用于大图训练。
▲ 论文模型：点击查看大图
@Rcypw 推荐
#Network Embedding
本文是南开大学发表于 KDD 2018 的工作，该论文首次将网络表示学习问题转化为机器翻译任务，解决了目前网络表示学习方法中向量组合策略结果不理想问题，以及复杂网络难以捕获长距离路径结构的问题。作者在不同的应用上对几个模型进行比较，取得了较好的效果。
▲ 论文模型：点击查看大图
@paperweekly 推荐
#Recommender System
本文是新加坡国立大学发表于 WWW 2018 的工作。在推荐系统任务上，基于 embedding 的方法虽然具有良好的推荐表现，但其整体仿若一个黑盒，难以解释具体推荐原因。相反，基于决策树的推荐方法则能够从数据中进行规则推理，进而给出具体的决策原因。
本文的写作动机便是将二者的优势加以结合，提出一个全新的 Tree-enhanced Embedding 方法，既保持基于决策树方法的可解释性，又具备基于 embedding 方法的良好推荐效果，进而保证了整个推荐过程的透明、可解释性。
▲ 论文模型：点击查看大图
@HarryLiu 推荐
#Convolutional Neural Network
本文是北京大学发表于 AAAI 2019 的工作。作者使用 Grammar-based CNN 对代码进行生成，CNN + shortcut connect 进行 encode，对于树结构输入数据，使用 pre-order 遍历后做编码，并结合使用 tree-path 做编码，为 input 为结构化数据提供了思路。 在 decoder 阶段通过对 max-pooling 结果和 encoding 结果做 attention 计算。
文章对 code generation 现有做法了做了一些回顾，网络结构有对现有组件的直接使用，也有做创新性的调整，内容较为丰富。 在结构化相关任务的 end2end 模型思路上值得借鉴。
▲ 论文模型：点击查看大图
本期所有入选论文的推荐人
均将获得PaperWeekly纪念周边一份
▲ 深度学习主题行李牌/卡套 + 防水贴纸
礼物领取方式
推荐人请根据论文详情页底部留言
添加小助手领取礼物
想要赢取以上周边好礼？
点击阅读原文即刻推荐论文吧！
点击以下标题查看往期推荐：
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？ 答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
📬 投稿邮箱：
• 投稿邮箱：hr@paperweekly.site
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。
▽ 点击 | 阅读原文 | 获取更多论文推荐