jiebaR，从入门到喜欢
作者：王亨 ，R语言中文社区专栏作者，跟着菜鸟一起一步步学习R语言，争做R语言高手。
个人公众号：跟着菜鸟一起学R语言（微信ID：learn_R）
之前，我写过一篇关于Rwordseg包的分词，今天，我主要想谈谈jiebaR这个包。现在我也比较推荐使用jiebaR这个包，原因也大概总结了一下几点。
JiebaR | Rwordseg | |
函数数量 | 51个 | 9个 |
更新速度 | 快，cran最新版更新于2016-09-28 | 慢，R-Forge最新版更新于2013-12-15 |
安装难度 | 容易 | 难。 |
分词引擎 | 多 | 只有一种（隐马尔科夫模型） |
（个人观点，还望大家在留言区补充）
首先来说一下我们最重要的一个函数，worker。这个worker就好比一个工人，通过这些参数告诉它，你是干什么事情的，怎么干。函数原型如下：
idf = IDFPATH, stop_word = STOPPATH, write = T, qmax = 20, topn = 5,
encoding = "UTF-8", detect = T, symbol = F, lines = 1e+05,
output = NULL, bylines = F, user_weight = "max")
现在，我来简单说说每个参数的意义。
参数 | 作用 |
type | 指分词引擎类型，这个包包括mix, mp, hmm, full, query, tag, simhash, keyword,分别指混合模型，支持最大概率， 隐马尔科夫模型，全模式，索引模型，词性标注，文本Simhash 相似度比较，关键字提取。 |
dict | 词库路径，默认为DICTPATH. |
hmm | 用来指定隐马尔可夫模型的路径，默认值为DICTPATH,当然也可以 指定其他分词引擎 |
user | 用户自定义的词库 |
idf | 用来指定逆文本频率指数路径，默认为DICTPATH，也可以用于simhash 和keyword分词引擎 |
stop_word | 用来指定停用词的路径 |
qmax | 词的最大查询长度，默认为20，可用于query分词类型。 |
topn | 关键词的个数，默认为5，可以用于simhash和keyword分词类型 |
symbol | 输出是否保留符号，默认为F |
Lines | 从文件中最大一次读取的行数。默认为1e+05 |
output | 输出文件，文件名一般时候系统时间。 |
bylines | 返回输入的文件有多少行 |
user_weight | 用户词典的词权重，有"min" "max" or "median"三个选项。 |
另外一个函数就是segment，它就好比老板，它有三个参数，code就好比任务，jiebar就是一个worker，但是担心worker对工作的方法不懂，那就用mod参数再告诉worker怎么做，也就是用什么分词引擎分词。作用分别如下。它要用这个工人worker去分词。
参数 | 作用 |
code | 中文句子或者文件 |
jiebar | 设置分词的引擎，也就是worker函数 |
mod | 改变默认的分词引擎类型，其中包括以下几个："mix", "hmm","query","full","level", "mp" |
了解完这些参数之后，我们现在就来简单的做一个小分词。
engine<-worker()
words<-"想学R语言，那就赶紧拿起手机，打开微信，关注公众号《跟着菜鸟一起学R语言》，跟着菜鸟一块飞。"
segment(words,engine)
运行结果如下：
在这里，我们除了使用segment之外，还可以分别使用下面代码分词，两个效果都一样。
engine<=words这个的话有两种方法。
1.使用new_user_word函数；
2.使用worker函数中通过user参数添加词库。
那刚才那个例子来说，“公众号”本来就是一个词，结果被分成两个词，因此我需要添加这个词。另外，我也想要“R语言”也被分成一个词。接下来我们就分别使用这两种方法来实现。
▷ new_user_word函数
engine_new_word<-worker() new_user_word(engine_new_word, c("公众号","R语言")) segment(words,engine_new_word)结果如下：
▷ 使用user参数添加词库
看完使用new_user_word函数添加词之后，你是不是心里就在想，如果我有几十个，甚至几百几千个词的话，如果这样输的话那估计得累死。因此我们可以自定义一个词库，然后从词库里面直接读。我建的词库截图如下：
为了便于比较，我把这这几次分词结果图截到一起，如下
需要说明的是，在使用词库的话也可以使用new_user_word函数。因此也可以写成下面这样，结果是一样的。
new_user_word(engine_new_word,scan("dictionary.txt",what="",sep="\n")) segment(words,engine_new_word)
（1）词库的第一行一定要空着，否则第一个词就会莫名其妙的失效。
（2）如果你的词库是用记事本写的话，因为编码有时不是UTF-8,使用时会出现 各种错误，甚至软件奔溃。所以建议使用notepad++编辑，将编码设置为utf-8，另存为txt文件。
（3）如果你需要添加搜狗细胞词库的话，那你需要安装cidian包，它可以帮助 我们把搜狗细胞词库转换为jiebaR可以使用的词库。
就拿我们刚才使用的例子，分词之后的“那”，“就”就是停用词，因此我们需要删掉。这里我们需要使用worker函数的stop_word参数。
通过对比，我们发些，“那”，“就”已经被删掉了。
这个jiebaR这个包的功能很全，它已经提供了一个函数——freq，来自动计算获取词频。
freq(segment(words,engine_s))这个函数就自动计算了words分词之后的词频，这下我们就很容易使用wordcloud2包绘制词云。
jiebaR包，提供了一个qseg函数的话，它在分词的时候也会加上词性：它有两种使用方法。
其中词性标注也可以使用worker函数的type参数，type默认为mix，仅需将它设置为tag即可。
tagger<-worker(type="tag") tagger<=words我自己也找网上找了一些汉语文本词性标注的资料，整理到如下表格。
标注 | 词性 | 标注 | 词性 |
ag | 形容素 | a | 形容词 |
ad | 副形词 | an | 名形词 |
b | 区别词 | c | 连词 |
Dg | 副语素 | d | 副词 |
e | 叹词 | f | 方位词 |
g | 语素 | h | 前接成分 |
i | 成语 | j | 简称略语 |
k | 后接成分 | l | 习用语 |
m | 数词 | ng | 名词素 |
n | 名词 | nr | 人名 |
nr1 | 汉语姓氏 | nr2 | 日语姓氏 |
nrj | 日语人名 | nrf | 音译人名 |
ns | 地名 | nt | 机构团体 |
nz | 其他专名 | nl | 名词性惯用语 |
vf | 取向动词 | vx | 形式动词 |
p | 介词 | q | 量词 |
r | 代词 | s | 处所词 |
tg | 时间词性语素(时语素) | t | 时间词 |
u | 助词 | vg | 动词素 |
v | 动词 | vd | 副动词 |
vn | 名动词 | w | 标点符号 |
y | 语气词 | x | 非语素词 |
z | 状态词 | o | 拟声词 |
（如有错误或不足之处还望留言区指出）
我们需要把worker里面的参数type设置为keyword或者simhash，使用参数topn设置提取关键字的个数，默认为5个。
结果如下：
看完之后有没有觉得jiebaR这个包的功能很强大，使用起来也很简单方便。我觉得它大部分功能，都可以通过worker函数来实现。如果你已经喜欢上jiebaR,那就在底下给我点个“赞”，然后赶紧去试试吧！
微信回复关键字即可学习
回复 R R语言快速入门免费视频
回复 统计 统计方法及其在R中的实现
回复 用户画像 民生银行客户画像搭建与应用
回复 大数据 大数据系列免费视频教程
回复 可视化 利用R语言做数据可视化
回复 数据挖掘 数据挖掘算法原理解释与应用
回复 机器学习 R&Python机器学习入门