自然语言分析——利用NLTK进行文本预处理

本文作者：方   言，中南财经政法大学金融学院 文字编辑：戴   雯 技术总编：张馨月

爬虫俱乐部云端课程

     爬虫俱乐部于2020年暑期在线上举办的Stata与Python编程技术训练营和Stata数据分析法律与制度专题训练营在不久前已经圆满结束啦~应广大学员需求，我们的课程现已在腾讯课堂全面上线，且继续提供答疑服务。现在关注公众号并在朋友圈转发推文《来腾讯课堂学Stata和Python啦！》或《8月Stata数据分析法律与制度专场来啦!》，即可获得600元课程优惠券，集赞50个再领200元课程优惠券！（截图发至本公众号后台领取）原价2400元的课程，现在只要1600元！     

导读

现如今的网络信息丰富多样，越来越多非结构化的信息内容得到广泛传播，所谓非结构化的信息就是一些新闻报道、社交媒体文章等，一般涉及到这类信息分析时都会用到NLP，也就是自然语言处理，在NLP中有很多工具可以用来分析非结构化的信息内容，今天我们就来简单的介绍一下在NLP中比较常用的自然语言处理工具——NLTK。NLTK的全称是Natural Language Toolkit，是基于python用来处理自然语言的工具集，主要用来处理英文的相关数据。今天我们就来介绍一下如何利用NLTK进行文本预处理。

一、安装

NLTK的安装可以直接通过pip install 完成：

pip install nltk

NLTK中包含非常多的语料和模型，我们可以通过NLTK Downloader进行下载：

import nltk
nltk.download()

运行上方的代码可以获取NLTK Downloader窗口：

点击Download，如果出现报错，可以通过点击 File里的 ChangeServerIndex将 service index改为 http://nltk.org/nltk_data/，再点击 Download。

如果这种方法依然报错，我们可以先输入下面这行代码查看nltk_data文件可以存放的路径：

nltk.data.find(".")

接下来，到官网https://github.com/nltk/nltkdata/tree/gh-pages下载packages文件到相应的路径，并对nltk_data进行解压（文件里很多个压缩包，注意要全部解压完成），我们可以测试一下是否安装成功：

from nltk.book import *

如果运行结果如下所示，则表明安装成功：

但是，在测试运行中还可能出现错误，比如这里利用NLTK进行分词，运行代码后出现如下报错：

import nltk
from nltk import word_tokenize
text = "NLTK is a great text analysis tool. We can make use of it."
sentence = nltk.sent_tokenize(text)
print(sentence)

这时是因为NLTK路径下的 tokenizers\punkt 里多了个PY3文件夹，将这个文件夹的内容放置到punkt文件夹中，删除PY3文件夹即可。完成了NLTK的安装以后，我们来进行一下简单的操作。

二、常用功能（以句子为例）

1.分词

在分词时，由于NLTK是先分句再分词的，我们需要先通过 nltk.sent_tokenize(text)将文本按照句子进行划分，然后通过 nltk.word_tokenize(sent)实现对每个句子进行分词。下面我们来举个例子：

import nltk
text = "NLTK is a great text analysis tool. We can make use of it."
sentence = nltk.sent_tokenize(text)
print(sentence)

运行结果如下所示，这里将text分成了两句话，结果以单引号进行分隔，所以一句话就是列表中的一个元素。

在写这个程序的时候一定要注意的是，每个英文句号的后面一定要加一个空格，否则在进行分句的时候是无法将句子进行分离的。

然后再对分离的每句话进行分词：

words = []
for sent in sentence :
  words.append(nltk.word_tokenize(sent))
print(words)

结果如下所示，NLTK将每句话的每个单词都进行了拆分，拆分后的每个单词都用单引号标识，但是这里有一个问题，标点符号也被作为一个单词单独进行拆分了，那么怎么解决这个问题呢？往下看就知道啦~

2.去除停用词和标点符号

所谓停用词，就是在理解一个句子的时候没什么必要去理解的单词，它们的意思对理解整个句子的语义没有太大影响。尤其是在英文中，"a"，"the"，"to"，"their"等冠词，借词，代词等，这些词语对文本分析起不到任何的帮助，因此我们在做文本分析的时候希望将这些单词去掉。想要去除停用词，就要知道NLTK库中有哪些停用词，我们可以直接用NLTK中提供的英文停用词表。

from nltk.corpus import stopwords
stop = set(stopwords.words('english'))
print(stop)

如下展示的就是NLTK词库中的停用词，由于NLTK库只支持英文的停用词库，因此在进行中文分词的时候还需要构造中文的停用词词库，这个会在以后的推文中进行介绍~

在了解了NLTK的停用词库后，我们把句子中的停用词去掉，结果运行如图所示：

filter_text = [word for word in sentence.split(' ') if word not in stopwords.words('english') ]
print(filter_text)

对于标点符号的去除，其实大可不必利用NLTK去除，在Python中的re.sub()函数就可以实现标点符号的全部去除，程序如下，这里我们需要用到正则表达式的相关内容：

import re
filter_text = re.sub(r'[^a-zA-Z0-9\s]','',string= text1)
print(filter_text)

运行结果如图所示，可以看到所有的标点符号都被删除了：

在进行分词的时候，我们是希望将标点符号以及停用词都去除的，因此直接替换掉所有的标点符号并进行停用词去除的程序如下所示，在进行文本整理以后，去除不必要的符号可以让我们在文本分析时更能突出重点。

import re
stop = set(stopwords.words('english'))
filter_text = re.sub(r'[^a-zA-Z0-9\s]','',string= text)
filter_text = [word for word in filter_text.split(' ') if word not in stop]
print(filter_text)

结果如图，可以看到结果只针对有用的单词进行了分词：

3.词频统计

词频统计有利于我们在做文本分析时了解文本的重点和核心，我们可以使用NLTK中的 FreqDist() 函数帮助我们对去除停用词后的文本进行词频统计。

from nltk import FreqDist
fdist = FreqDist(filter_text)
print(fdist)
for a,b in fdist.items():
    print(str(a)+":"+str(b))

上图的运行结果显示出当前文本中有8个样本和8个结果，因为每个样本都只出现了一次，因此8个样本出现的频数也就是8。

4.词性标注

在分词过程中，对词性进行分析有助于我们更好的把握文本的核心和重点。这一功能可以通过NLTK中的 pos_tag() 函数实现，下面我们来操作一下：

from nltk import pos_tag
text = "NLTK is a great text analysis tool.We can make use of it."
tokens = nltk.word_tokenize(text)
tags = pos_tag(tokens)
print(tags)

在上面的结果中我们看到输出的结果是一些大写字母的组合，这些组合就是NLTK库中的相关词性，这里列举一下，如下图所示：

三、简单应用（以NLTK自带的古腾堡语料库为例）

通过第二部分我们掌握了比较简单的句子的分析，那么我们利用第二部分介绍的内容来简单以NLTK自带的古腾堡语料库应用一下。

首先，我们需要调用NLTK的古腾堡语料库，并在该语料库中获取一个文本对象。在进入应用之前，先简单介绍一下古腾堡语料库。古腾堡项目大约有36000本免费电子图书，NLTK中只包含了其中的一小部分，NLTK的古腾堡语料库收集的都是不同作家的书，并且都是英文的，通过下述命令可以查看NLTK中包含的相关文本文档：

from nltk.corpus import gutenberg
gutenberg.fileids()

运行结果如图，这里展示的就是NLTK古腾堡语料库包含的所有文档：

这里以莎士比亚的著作《哈姆雷特》为例进行简单的文本分析，首先，我们需要先获取《哈姆雷特》的文本内容，键入以下命令即可获取语料库中的文本内容：

hamlet = gutenberg.words('shakespeare-hamlet.txt')  # 获取shakespeare-hamlet.txt这个文件的单词
print(hamlet)
hamlets = gutenberg.sents('shakespeare-hamlet.txt')  # 获取shakespeare-hamlet.txt这个文件的句子
print(hamlets)

运行结果如图所示：

通过运行的结果可以看到，直接引用语料库的文本内容，不同于自己构建的文本内容，原因是NLTK的古腾堡语料库已经将这些作品分好词、分好句，因此我们直接对语料库中的内容进行后续文本处理，去停用词、去标点、词频统计以及词性标注：

1.去停用词

#去除停用词
from nltk.corpus import stopwords
filter_text = [word for word in hamlet if word not in stopwords.words('english') ]
print(filter_text)

运行结果如图所示：

由于《哈姆雷特》的内容较长，所以在前面没办法完全展开显示，但是从图中可以明显看到，《哈姆雷特》的第一句话中of这个单词被去除掉了，这也说明我们这个去除停用词是成功实现了的。

2.去标点

在去除停用词的基础上，对标点进行去除，可以键入以下命令：

import re
filter_texts = re.sub(r'[^a-zA-Z0-9\s]','',str(filter_text))
print(filter_texts)

运行结果如图所示：

这就是一个干干净净的文本内容，既没有停用词，也没有标点符号的文本，是不是看上去特别清爽！

3.进行词频统计

由于词频统计必须要在分词的基础上进行，所以我们需要对去除标点符号以后的清爽的文本内容再进行分词，可以键入以下命令：

text=nltk.word_tokenize(filter_texts)
print(text)

运行结果如图所示：

在分词之后，我们就可以进行词频统计啦，键入以下命令：

from nltk import FreqDist
fdist = FreqDist(text)
print(fdist)
for a,b in fdist.items():
    print(str(a)+":"+str(b))

运行结果如图所示：

可以看到结果中显示了《哈姆雷特》中共有18814个单词，剔除重复的单词后，共用到了5324个单词。

4.词性标注

同词频统计一样，词性标注也是必须在分句和分词的基础上才能进行的，因此我们也是可以直接对分词后的文本进行词性标注：

from nltk import pos_tag
print(nltk.pos_tag(text))

结果如图：

以上就是我们今天给大家简单介绍的自然语言处理工具NLTK以及进行简单的文本预处理，NLTK还有很多语料库可以供大家使用,详情可以继续关注我们后续的推文内容哦~

对我们的推文累计打赏超过1000元，我们即可给您开具发票，发票类别为“咨询费”。用心做事，不负您的支持！

往期推文推荐

关于我们

微信公众号“Stata and Python数据分析”分享实用的stata、python等软件的数据处理知识，欢迎转载、打赏。我们是由李春涛教授领导下的研究生及本科生组成的大数据处理和分析团队。

此外，欢迎大家踊跃投稿，介绍一些关于stata和python的数据处理和分析技巧。

投稿邮箱：[e-mail]

投稿要求：
1）必须原创，禁止抄袭；
2）必须准确，详细，有例子，有截图；
注意事项：
1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。