其他
【数据挖掘实操】用文本挖掘剖析近5万首《全唐诗》
温馨提示:图片显示毛糙和不清楚,是分辨率过高的缘故,点击图片,即可看到高清大图,另:伴着下方天后的天籁之音---《清平调》,效果会更佳!楔子近些年来,弘扬中华传统文化的现象级综艺节目不断涌现,如《中国汉字听写大会》、《中国成语大会》、《中国谜语大会》、《中国诗词大会》等,其背后的社会成因,在于人们对中国文化中最精致文字的膜拜心理,虽然浸淫于层出不穷的网络语汇,时时面临“语言荒漠”的窘境,仍心向往之。上述节目中,笔者最感兴趣的还是《中国诗词大会》---通过对诗词知识的比拼及赏析,带动全民重温那些曾经学过的古诗词,分享诗词之美,感受诗词之趣,从古人的智慧和情怀中汲取营养,涵养心灵。由于在新浪微舆情从事的是语义分析产品方面的工作,平时用到很多文本挖掘的方法。所以,笔者想从文本(数据)挖掘的角度去“探索”全唐诗,挑战一些不同场景下(现代汉语和古汉语)文本处理和分析的异同点,锤炼自己的分析技能;但更想做的是,结合数据之美和诗歌之雅,用跨界思维去发现一些有趣的东西。在这里,笔者分析的语料是《全唐诗》,它编校于清康熙四十四年(1705年),得诗四万八千九百余首。接下来,笔者将使用多种文本挖掘方法,来分析《全唐诗》。以下是本文的行文脉络:
2018年3月25日