【NLP-词向量】词向量的由来及本质

词嵌入是所有自然语言处理任务所必须要经历的步骤，非常的重要。词向量在网络上已经有了大量的文章，但是，出于我们专栏的完整性系统性的考虑，笔者还是决定加上这样一个专题。

计划用3-4次，彻底说清楚在自然语言处理中，词向量的由来，本质和训练。公众号专栏主要讲基本原理，知识星球讲实际的操作。

本篇主要讲述词向量的由来及本质。

作者&编辑 | 小Dream哥

1 词的向量化

首先，我们提出这样一个问题，一个文本，经过分词之后，送入某一个自然语言处理模型之前该如何表示？

例如，“人/如果/没用/梦想/，/跟/咸鱼/还有/什么/差别”，向机器学习模型直接输入字符串显然是不明智的，不便于模型进行计算和文本之间的比较。那么，我们需要一种方式来表示一个文本，这种文本表示方式要能够便于进行文本之间的比较，计算等。最容易想到的，就是对文本进行向量化的表示。例如，根据语料库的分词结果，建立一个词典，每个词用一个向量来表示，这样就可以将文本向量化了。

最早的文本向量化方法是词袋模型，我们先来看看词袋模型。

2 词袋模型

要讲词向量，我们首先不得不说的就是词袋模型。词袋模型是把文本看成是由一袋一袋的词构成的。例如，有这样两个文本：

1) “人/如果/没有/梦想/，/跟/咸鱼/还有/什么/差别”

2) “人生/短短/几十/年/，差别/不大/，/开心/最/重要”

这两个文本，可以构成这样一个词典：

{“人”，“如果”，“没有”， “梦想”， “，”，“跟”， “咸鱼” ， “还有”，“什么”， “差别”， “人生”， “短短”， “几十”，“年”， “不大”， “开心”， “最”， “重要”}

字典的长度为18，每个词对应有一个index，所以词“人”可以用一个18维的向量表示表示：

{1，0，0，0，····，0}

词“重要”可以用一个18维的向量表示表示：

{0，0，0，0，····，1}，

那么，文本该怎么表示呢？词袋模型把文本当成一个由词组成的袋子，记录句子中包含各个词的个数：

文本1：

{1，1，1，1，1，1，1，1，1，1，0，0，0，0，0，0，0, 0}

文本2：

{0，0，0，0，2，0，0，0，0，1，1，1，1，1，1，1，1，1}

我们大概总结一下，词袋模型把文本看成是一个装着词的袋子，以文本2为例，用词袋模型可以这样描述它。文本2里有0个“人”，2个“，”， 1个“差别” 等等。所以词袋模型有以下特点：

1) 文本向量化之后的维度与词典的大小相关；

2) 词袋模型没有考虑词语之间的顺序关系。

这只是两个句子，所以词典的大小是18。当语料库很大时，词典的大小可以是几千甚至几万，这样大维度的向量，计算机很难去计算。

而且就算是只有一个词的句子，它的维度仍然是几千维，存在很大的浪费。

此外，词袋模型忽略了词序信息，对语义理解来讲是一个极大的信息浪费。最后，词袋模型会造成语义鸿沟现象，即两个表达意思很接近的文本，可能其文本向量差距很大。

所以，词袋模型并不是一个好的解决方案。接下来，词向量就“粉墨登场”了。

3 词向量

相比于词袋模型，词向量是一种更为有效的表征方式。怎么理解呢？词向量其实就是用一个一定维度(例如128，256维)的向量来表示词典里的词。

经过训练之后的词向量，能够表征词语之间的关系。例如，“香蕉”和“苹果”之间的距离，会比“香蕉”和“茄子”之间的距离要近。

通过多维向量表示，也能更为方便的进行计算。例如，“女人”+“漂亮” =“女神”。

那么，该如何获取词向量呢？我们先来看看神经概率语言模型。

4 神经概率语言模型

一个语言模型通常构建为一句话的概率分布p(W)，这里的p(W)实际上反映的是W作为一个句子出现的概率。 说成大白话，语言模型就是计算某个句子出现的概率。

 对于一个由T个词按顺序构成的句子，P(W)实际上求解的是字符串的联合概率，利用贝叶斯公式，链式分解如下：

从上面可以看到，一个统计语言模型可以表示成，给定前面的的词，求后面一个词出现的条件概率。

我们在求P(W)时实际上就已经建立了一个模型，这里的诸多条件概率就是模型的参数。如果能够通过语料，将这些参数已学习到，就能够计算出一个句子出现的概率。

那么该如何学习这些条件概率呢？Yoshua Bengio在2003年《A Neural Probabilistic Language Model》一文中提出了一种神经网络的方法，用于语言模型的计算。

如上图所示，是一个简单的神经网络。首先，将输入语料进行分词，并向量化(随机初始化成为一个N维的向量)，然后将他们拼接起来，用如下的公式表示：

随后，将上述的拼接结果分别经过一个激活函数和线性连接，并将二者的结果直接相加。此时，y的维度是(|V|, 1)，|V|表示语料词表的大小。

最后，接一个softmax函数，预测出下一个词是目标词的概率。

训练时，会设计损失函数，用梯度下降的方法，优化参数。

在训练过程中，我们优化了如下的参数：

其中C为我们之前随机初始化的向量，但是在训练过程中，得到了不断的优化。

因此，在神经网络训练完成之后，我们不但得到了一个能够预测句子出现概率的模型，也得到了一份词向量，它能够表示词语之间的关系。

5 总结

上面详细介绍了词向量的来历和作用，并介绍了一种词向量的训练方法。

在实际过程中，并不是用上述神经网络来训练词向量的因为词向量是如此的重要，NLP工作者们设计了专门的网络来训练词向量。目前用的最多的有word2vec和GLove。这里出于篇幅，先不介绍，后面的文章来介绍。

总结

词向量是NLP开始迈进“现代化”的关键，是各种面试必问的基础，需重视。

读者们可以留言，或者加入我们的NLP群进行讨论。感兴趣的同学可以微信搜索jen104，备注"加入有三AI NLP群"。

下期预告：word2vec原理介绍

知识星球推荐

扫描上面的二维码，就可以加入我们的星球，助你成长为一名合格的自然语言处理算法工程师。

知识星球主要有以下内容：

(1) 聊天机器人。考虑到聊天机器人是一个非常复杂的NLP应用场景，几乎涵盖了所有的NLP任务及应用。所以小Dream哥计划以聊天机器人作为切入点，通过介绍聊天机器人的原理和实践，逐步系统的更新到大部分NLP的知识，会包括语义匹配，文本分类，意图识别，语义匹配命名实体识别、对话管理以及分词等。

(2) 知识图谱。知识图谱对于NLP各项任务效果好坏的重要性，就好比基础知识对于一个学生成绩好坏的重要性。他是NLP最重要的基础设施，目前各大公司都在着力打造知识图谱，作为一个NLP工程师，必须要熟悉和了解他。

(3) NLP预训练模型。基于海量数据，进行超大规模网络的无监督预训练。具体的任务再通过少量的样本进行Fine-Tune。这样模式是目前NLP领域最火热的模式，很有可能引领NLP进入一个全新发展高度。你怎么不深入的了解？

转载文章请后台联系

侵权必究

往期精选