其他
【源头活水】CTRL,定向生成模型
“问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精选论文阅读笔记,开辟“源头活水”专栏,帮助你广泛而深入的阅读科研文献,敬请关注。
nlp-paper:https://github.com/DengBoCong/nlp-paper
nlp-dialogue:https://github.com/DengBoCong/nlp-dialogue
text-similarity:https://github.com/DengBoCong/text-similarity
说明:阅读原文时进行相关思想、结构、优缺点,内容进行提炼和记录,原文和相关引用会标明出处,引用之处如有侵权,烦请告知删除。
01
02
03
Style by domain:Wiki,Books,Reviews,Horror,Relationships,Legal
04
CTRL不仅是一个自然语言处理问题的解决方案,同样也可应用到其它的序列处理问题之中。使用 control code 控制文本生成,控制代码可以是主题、实体、关系、特定任务等等。其实它的本质与之前的 Bert 类似:多任务 + 语言模型;这里的多任务可以看作是一个多分类任务。不过本文的切入角度是 “控制文本生成”,虽然是以类别标签的方式,但不得不说这是一个不错的创新点。
本文目的在于学术交流,并不代表本公众号赞同其观点或对其内容真实性负责,版权归原作者所有,如有侵权请告知删除。
“源头活水”历史文章
Deep InfoMax损失函数小记
游走图模型-聊聊Node2Vec(论文分析、代码实践)
CVPR 2021 | 让机器想象未见的世界:反事实的零次和开集识别
解耦表示,理解用户的多样偏好和意图
REPAINT:深度强化学习中的知识迁移
Transformer 的稳健性更好吗?
读SfM-Net: Learning of Structure and Motion from Video
Conditional DETR: 通过显式寻找物体的 extremity 区域加快 DETR 的收敛
谷歌和CMU论文:使用元学习生成伪标签
Deep GNN评测,模型退化是做不深的主要原因!
CVPR2021:Spatial在左,Temporal在右,如何缓解视频动作理解中的隐式偏见之殇?
CVPR2021自监督学习论文: 理解对比损失的性质以及温度系数的作用
GAN,没错,生成对抗网络也可以被用于时间序列预测
开放世界实体分割 Open-World Entity Segmentation
更多源头活水专栏文章,
请点击文章底部“阅读原文”查看
分享、在看,给个三连击呗!