Python NLP中的五大英雄
自然语言处理(NLP)是数据科学和人工智能的一个令人兴奋的领域,它涉及到教计算机如何从文本中提取意义。在本指南中,我们将访问Python自然语言包。这些包能处理一系列的任务,如词性(词性)标注、情感分析、文档分类、主题建模等等。
为什么只有5个包?
我们写的每一个指导与思想的实践者,实际上有几十个的NLP包…但一旦你掌握了其中的一些基础,你就可以覆盖所有重要的基地。这是一个固执己见的向导,它展示了我们发现最有用的5个Python NLP库。
我需要学习下面的每一个包吗?
不,这要看你的使用情况而定。这是一个摘要:
我们建议NLTK仅作为一个教育和研究工具。它的模块化结构使它非常适合学习和探索NLP概念,但它不是用于生产的。
textblob基于NLTK库,它更易用。这是我们最喜欢的快速原型或构建应用程序库,不需要高度优化的性能。初学者应该从这里开始。
斯坦福大学的CoreNLP是一个Python包装java库。这是许多现有的生产系统,由于它的速度。
SpaCy是一个新的NLP的包,其宗旨是设计快速,精简,和便于生产。它并没有被广泛采用,但是如果您正在构建一个新的应用程序,您应该试一试。
GENSIM是最常用的主题模型和相似性检测包。它不是一个通用的NLP包,但是对于它处理的任务,它做得很好。
他们为什么是英雄?
因为他们勇敢!
征服者:NLTK
王子:textblob
佣兵:Standfordcorenlp
篡位者:Spacy
将军:gensim
征服者:NLTK
谈论Python中的nlp库,不能不提NLTK。它是最著名的Python NLP库,它在这个领域中取得了令人难以置信的突破。NLTK负责征服许多文本分析的问题,NLTK也颇受教育与研究界的青睐。在自己的网站上,NLTK自称是“一个令人惊叹的自然语言库。”
在我们的经验中,关键词是“玩”。NLTK在50个语料库和词典,9个词干器,以及几十种可选的算法。它是一个学术研究者的主题公园。
然而,这也是NLTK一个主要的缺点。它是沉重的,滑滑的,它有一个陡峭的学习曲线。第二个主要缺点是缓慢而不是生产准备就绪。
接下来的3个图书馆将解决这些弱点。
资源
《使用Python进行自然语言处理》。
http://www.nltk.org/book/
《Dive into NLTK》教程文本处理详细位。
http://textminingonline.com/dive-into-nltk-part-i-getting-started-with-nltk
王子:textblob
textblob坐在巨人肩上,与此类似的另一个库是Pattern。事实上,我们推荐textblob而不是Pattern。
textblob使文本处理提供一个直观的界面,简单化的NLTK。因为它有一个温和的学习曲线,同时拥有惊人的功能,使其成为Python最受欢迎的自然语言库。
例如,假设你想找到一个文本的情感分数。你可以:
from textblob import TextBlob
opinion = TextBlob("EliteDataScience.com is dope.")opinion.sentiment
默认情况下,情绪分析仪是从模式库的patternanalyzer。但如果你想使用朴素贝叶斯分析?你可以很容易地转换到一个使用nltk训练好的analyzer。
from textblob import TextBlobfrom textblob.sentiments import NaiveBayesAnalyzer
opinion = TextBlob("EliteDataScience.com is dope!", analyzer=NaiveBayesAnalyzer())opinion.sentiment
textblob是一种简单、有趣的库,使得文本分析是一种轻松愉快的事情。我们可以用textblob对付所有NLP的初始原型。
资源
TextBlob Documentation - 官方文档和快速指南
https://textblob.readthedocs.io/en/dev/index.html
《Natural Language Processing Basics with TextBlob》 - TextBlob短期速成教程
http://rwet.decontextualize.com/book/textblob/
雇佣军:Stanford corenlp
Stanford corenlp库是自然语言分析生产准备阶段的工具套件。它包括词性(POS)标注,实体解析,模式识别,学习等。 “雇佣军”实际上是用Java写而不是Python写的。
许多组织使用corenlp来实现其产品。它几乎能够准确的支持几个主要的语言。
资源
CoreNLP Documentation - 官方文档
http://stanfordnlp.github.io/CoreNLP/index.html
List of Python wrappers for CoreNLP - CoreNLP最新更新
https://stanfordnlp.github.io/CoreNLP/other-languages.html#python
篡位者:Spacy
Spacy是一个新生事物,它一经推出就轰动业界。市场定位于运行效率的Python自然语言库。
Spacy是很轻很小的,它的哲学是对每一个问题只提出一种算法(最好的一种)。你不必做出选择,你可以专注于富有成效。
内核是Cpython,所以Spacy运行很快。它的主要缺点是它目前只支持英语。
Spacy是很新的,所以其支持社区不象其他库那么大。然而,它的NLP的方法是如此引人注目,似乎未来可以取代NLTK。
如果你正在建设一个新的应用程序或改造旧的(你只需要英语的支持),那么我们强烈建议使用Spacy。
资源
spaCy Documentation - 官方文档和快速指南 https://spacy.io/docs/
Intro to NLP with SpaCy - 简洁指南和案例 https://nicschrading.com/project/Intro-to-NLP-with-spaCy/
将军:gensim
最后但并非最不重要的,我们有gensim库。gensim不解决所有nlp领域,它只做一部分,并将其做好。你不会把你的海军上将派到陆战场景,同理你也不会用gensim去解决nlp的所有领域和情景。
gensim是一个很好的主题建模和文档相似性分析优化库。在这里列出的Python NLP库中,它是最专业的。
即便如此,这还是一个有价值的工具来添加你的曲目。它的主题建模算法,如潜在的狄利克雷分配(LDA)实现,是所有库中最棒的。此外,它强健、高效、可扩展。
另外,子字段语义分析(或主题建模)是现代自然语言处理中最令人兴奋的领域之一。
资源
gensim Documentation - 官方文档
https://radimrehurek.com/gensim/