用 GPT-2 自动写诗，从五言绝句开始

春节前用 GPT2 训练了一个自动对联系统：鼠年春节，用 GPT-2 自动生成（写）春联和对对联 ，逻辑上来说这套NLG方法论可以应用于任何领域文本的自动生成，当然，格式越固定越好，这让我自然想到了自动写诗词，诗词的格式相对比较固定，我们之前已经有所涉及，譬如已经在AINLP公众号上上线了自动写藏头诗和首字诗的功能，不过是直接复用的："自动作诗机"上线，代码和数据都是公开的 ，另外还有一个更大的诗词数据项目可以用作自动作诗的“原料”：【Github】Chinese-poetry: 最全中华古诗词数据库，加上 GPT2-Chinese 这个项目：【Github】GPT2-Chinese：中文的GPT2训练代码 ，可以说万事俱备，只欠试用。

所以本周我们从五言绝句开始继续自然语言生成的主题，关于五言绝句，百度百科是这样说的：

五言绝句是中国传统诗歌的一种体裁，简称五绝，是指五言四句而又合乎律诗规范的小诗，属于近体诗范畴。此体源于汉代乐府小诗，深受六朝民歌影响，成熟定型于唐代。五绝每首仅二十字，便能展现出一幅幅清新的图画，传达一种种真切的意境。因小见大，以少总多，在短章中包含着丰富的内容，是其最大特色。五绝有仄起、平起二格。代表作品有王维的《鸟鸣涧》、李白的《静夜思》、杜甫的《八阵图》、王之涣的《登鹳雀楼》、刘长卿的《送灵澈上人》等。

我主要用了 Chinese-poetry 里的《全唐诗》和《全宋诗》数据 ，首先向这个项目的作者致敬：

《全唐诗》是清康熙四十四年（1705年），彭定求、沈三曾、杨中讷、汪士鋐、汪绎、俞梅、徐树本、车鼎晋、潘从律、查嗣瑮10人奉敕编校，“得诗四万八千九百余首，凡二千二百余人”， 共计900卷，目录12卷。来自百科

《全宋诗》继唐诗的高度繁荣之后，宋诗在思想内容和艺术表现上有新的开拓和创造，出现了许多优秀作家作品，形成了许多流派，对元、明、清的诗歌发展产生了深远影响。

说明
《全唐诗》和《全宋诗》是繁体存储， 如有需要请自己转换， 但转换后的字不符合上下文。

这里需要首先通过OpenCC做了繁简转换，其次提取里面的五言绝句，最后转换为 GPT2-Chinese 的训练格式，然后就是训练和测试了，感兴趣的同学可以自己尝试，很方便，训练经验可以复用上文关于自动对联的:

1）训练数据可以按 GPT2-Chinese 训练数据的格式要求写个脚本进行转换，可以加一些标记符，这样在生成的时候可以基于这些标记符做trick；
2）训练时请将参数 min-length 设置为一个较小的数字，默认为128，由于对联数据长度比较短，按默认的设置训练后只会得到乱码，我直接设置为1;
3）根据自己GPU显存的大小调整 batch_size 和配置参数, 这里 batch_size 默认为8，训练时在1080TI的机器上会出现OOM，将其设置为4就可以完全跑通了，其他参数不用动；

自动作诗GPT2模型训练完成后，可以直接基于 GPT2-Chinese 里面的 generate.py 脚本进行测试，很方便，我基于 generate.py 和 flask-restful 写了一个 server 版本，对接到AINLP公众号后台了，感兴趣的同学可以关注AINLP公众号，直接进行测试：

关键词“写诗/作诗”触发诗歌的自动生成，例如输入“写诗春”，自动作诗模型会基于“春”进行自动续写，会给出以“春”开头的诗，给出其他的字同理，目前不能多于五个字，因为只能自动生成五言绝句：

关键词“藏头诗”触发藏头诗生成，例如输入“藏头诗春夏秋冬"，基于GPT2模型叠加trick生成：

最后，欢迎关注AINLP公众号，测试自动写诗作诗和藏头诗生成器功能：

关于AINLP对话功能模块，感兴趣的同学可以参考：

腾讯词向量和相似词、相似度、词语游戏系列
相似词查询：玩转腾讯 AI Lab 中文词向量
玩转腾讯词向量：词语相似度计算和在线查询
腾讯词向量实战：通过Annoy进行索引和快速查询
玩转腾讯词向量：Game of Words（词语的加减游戏）
词向量游戏：梅西-阿根廷+葡萄牙=?
腾讯 800 万中文词向量 API Demo 搭建

NLP相关工具及在线测试（公众号对话测试）
五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP
中文分词工具在线PK新增：FoolNLTK、LTP、StanfordCoreNLP
Python中文分词工具大合集：安装、使用和测试
八款中文词性标注工具使用及在线测试
百度深度学习中文词法分析工具LAC试用之旅
来，试试百度的深度学习情感分析工具
AINLP公众号新增SnowNLP情感分析模块

自动对联及作诗机
风云三尺剑，花鸟一床书---对联数据集和自动对联机器人
自动对联活动获奖结果以及机器对联赏析
"自动作诗机"上线，代码和数据都是公开的
鼠年春节，用 GPT-2 自动写对联和对对联

夸夸聊天机器人及其他技能
一行Python代码实现夸夸聊天机器人
为了夸夸聊天机器人，爬了一份夸夸语料库
夸夸聊天机器人升级：从随机到准个性化
来，试试语音（识别）聊天（机器人）
来，试试成语接龙
推荐一份中文数据，来试试汉字、词语、成语、歇后语在线检索
AINLP公众号新增"狗屁不通文章生成器"接口
来，试试彩虹屁生成器

如果对AINLP公众号的文章感兴趣，也欢迎参考我们的年度阅读清单：AINLP年度阅读收藏清单。

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP君微信(id：AINLP2)，备注工作/研究方向+加群目的。