翻译技术｜代码分享——删除停用词

代码分享

删除停用词

代码及解析

import nltk  
from nltk.corpus import stopwords  
stopwords_list = stopwords.words('english')  
print(stopwords_list)  
string = '''My father's family name being pirrip, and my  
Christian name Philip, my infant tongue could make of both  
names nothing longer or more explicit than Pip. So,I  
called myself Pip, and came to be called pip.'''  
wordlist = nltk.word_tokenize(string.lower())  
for word in wordlist:  
   if word not in stopwords_list:  
      print(word)

这段代码的含义如下：

1. `import nltk`：这行代码导入了Python的自然语言处理工具包nltk。

2. `from nltk.corpus import stopwords`：这行代码从nltk的corpus模块中导入了stopwords语料库。

3. `stopwords_list = stopwords.words('english')`：这行代码使用stopwords语料库中的英文停用词列表，将其赋值给名为stopwords_list的变量。

4. `print(stopwords_list)`：这行代码打印输出停用词列表。

5. `string = '''xxx'''`：这行代码定义了一个名为string的多行字符串变量，存储了一段文本。

6. `wordlist = nltk.word_tokenize(string.lower())`：这行代码将字符串string转换为小写，并使用nltk的word_tokenize函数对其进行分词，将分词结果存储到名为wordlist的变量中。

7. `for word in wordlist: if word not in stopwords_list: print(word)`：这是一个for循环，遍历wordlist中的每个单词，对于不在停用词列表中的单词，打印输出。

总结：该代码使用nltk的stopwords语料库过滤给定文本中的停用词。首先导入了nltk和stopwords库，然后打印输出英文停用词列表。接着定义了一个多行字符串变量，存储了一段文本。然后将文本转换为小写并进行分词，遍历分词结果，如果单词不在停用词列表中，则打印输出。

请注意，你需要确保在运行代码之前已经安装了nltk库，并且已经下载了所需的数据集（如punkt分词器和stopwords语料库）。你可以使用nltk.download()函数来下载所需的数据集。

部分运行结果如下:

father

's

family

name

pirrip

,

每日啃一段代码，日积月累，我们可以跨越这条鸿沟，若是还未入门Python,可加入我们的粉丝群免费获取《第一本书Python》,快速入门！

往期代码合集可后台回复代码分享或者加入翻译圈粉丝群获取，粉丝群还有其它资源哦！

参考书藉：基于Python的语料库数据处理 雷蕾 著

特别说明：本文仅供学习交流，如有不妥欢迎后台联系小编。

- END -

---

翻译圈公众号旨在为读者提供名师和专家对口笔译的真知灼见，CATTI考试和MTI入学考试信息，翻译等语言服务就业资讯，以及口笔译学习资源和知识，希望在翻译之路上，为大家助上一臂之力。欢迎大家积极留言，为我们提供建设性意见，我们共同进步！

原文作者：吴志雄

推文编辑：吴志雄

指导老师：朱华

审核：吴志雄、刘一葶

项目统筹：吴志雄

资讯推荐

译文评价

▶精品课程

▶资源宝库

▶翻译百科

▶译界动态

  关注我们 了解更多

CATTI和MTI资讯

语言服务就业信息

翻译名师真知灼见

翻译学习精品课程