【综述专栏】关于Transformer几个内部细节的总结

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。

作者：知乎—DengBoCong

地址：hhttps://zhuanlan.zhihu.com/p/359955210

nlp-paper：https://github.com/DengBoCong/nlp-paper

nlp-dialogue：https://github.com/DengBoCong/nlp-dialogue

说明：讲解时会对相关文章资料进行思想、结构、优缺点，内容进行提炼和记录，相关引用会标明出处，引用之处如有侵权，烦请告知删除。

01

为何在获取输入词向量之后需要对矩阵乘以embeddding size的开方？

embeddings = tf.keras.layers.Embedding(input_dim=vocab_size, output_dim=embedding_dim,
             dtype=d_type, name="{}_embeddings".format(name))(inputs)
embeddings *= tf.math.sqrt(x=tf.cast(x=embedding_dim, dtype=d_type), name="{}_sqrt".format(name))

我上面使用的是Keras的Embedding，其初始化方式是xavier init，而这种方式的方差是1/embedding size，因此乘以embedding size的开方使得embedding matrix的方差是1，在这个scale下可能更有利于embedding matrix的收敛。

02

Transformer为何使用多头注意力机制？

https://www.zhihu.com/question/341222779

先上一份原论文中对Multi-head attention的解释：

Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions.

• 如何解释这个不同的注意力表示子空间？
• 以及表示子空间信息的差异性是如何来的？

对于这两个小问题，我从这个回答中找到了思路：为什么Transformer 需要进行 Multi-head Attention？

https://www.zhihu.com/question/341222779/answer/814111138

首先，有大量的paper表明，Transformer或Bert的特定层是有独特的功能的，底层更偏向于关注语法，顶层更偏向于关注语义，其实这也符合我们的直觉（语法与token位置相关性较大，语义则是更高层的抽象表示）。这反应了结构中不同层所学习的表示空间不同，从某种程度上，又可以理解为在同一层Transformer关注的方面是相同的，那么对该方面而言，不同的头关注点应该也是一样的，而对于这里的“一样”，一种解释是关注的pattern相同，但内容不同，这也就是解释了第一个小问题，不同的头大体上的pattern是一样的，而差异性来源与分离的不同内容，为了更好的说明这一点，从论文：A Multiscale Visualization of Attention in the Transformer Model中截取的一张可视化的图可以形象的说明：

https://arxiv.org/pdf/1906.05714.pdf

可以看到，相同层的不同头所关注的pattern大致相同，不过细心的小伙伴应该会注意到，同一层中总是有那么一两个头和其他头的pattern不相同，这也是所要解释的第二个小问题。

我们首先来看看这个过程是怎样的。首先，所有的参数随机初始化，然后用相同的方法前传，在输出端得到相同的损失，用相同的方法后传，更新参数。在这一条逻辑线中，唯一不同的地方在于初始值的不同。设想一下，如果我们把同一层的所有参数（这里的参数都是指的  ）初始化成一样的（不同层可以不同），那么在收敛的时候，同一层的所有参数仍然是一样的，自然它们的关注模式也一样。也就是说，相同层中出现的“异类”，从某种解释上说，可以理解为是由于初始化的不一样引起的。

我还看到了另外一种从实用原因解释的思路，来自苏剑林大神的回答

https://www.zhihu.com/question/446385446/answer/1752279087

总体上表述的意思是，每个token通常只是注意到有限的若干个token，这说明Attention矩阵通常来说是很“稀疏”的，所以只用一个头的话，当特征维度较大时，计算量就大，这个时候用某种方式对  进行分割，然后计算之后在以某种方式整合，虽然这种方式计算量和不分割差不多，但是从某种程度上引入了enhance或noise，类似模型融合，效果表现上也应该更好。

最后总结陈词就是，Multi-Head其实不是必须的，去掉一些头效果依然有不错的效果（而且效果下降可能是因为参数量下降），这是因为在头足够的情况下，这些头已经能够有关注位置信息、关注语法信息、关注罕见词的能力了，再多一些头，无非是一种enhance或noise而已。

03

计算Attention时，点乘Attention和加法Attention的区别？

Attention发展到现在衍生出了特别多的种类，从功能效果上来说，Attention可以分为基于内容的注意力机制(content-based attention)、基于位置的注意力机制(location-based attention)和混合注意力机制(hybrid attention)，我之前针对Attention做了一个总结，感兴趣的小伙伴可以看一下：NLP中遇到的各类Attention结构汇总以及代码复现

https://zhuanlan.zhihu.com/p/338193410

而我们这里讨论的点乘Attention和加法Attention属于基于内容的注意力机制(content-based attention)，我们从计算速度上和效果上来比较它们两者间的区别。

• 从计算效率上，为了方便感官上的呈现，看下面的两者计算注意力分数的代码，从这里其实很容易看得出来，整体计算量上，它们两者是相似的，在GPU运行上应该没有很明显的差别。

加法：score = self.V(tf.nn.tanh(self.W1(key) + self.W2(tf.expand_dims(query, 1))))
点乘：score = tf.matmul(query, key, transpose_b=True) / tf.math.sqrt(dk)

• 从表现效果来讲，论文：Massive Exploration of Neural Machine Translation Architectures里面对此做了对比实验（这篇Paper里基于Seq2Seq做了许多对比实验，很值得阅读，也可以阅读我之前的论文阅读笔记：对NMT架构的超参数首次进行大规模消融实验分析

https://zhuanlan.zhihu.com/p/328801239

Paper的实验结果如下：

从结果上可以看得出，加法式注意机制略微但始终优于乘法式注意力机制。当然优于Transformer结构中使用了的多头注意力机制，在将表示分割成不同个头进行运算时，使用点乘会更加灵活方便计算，但实际应用在Transformer上的差别，后面实验对比再体会体会。

04

transformer中为什么使用不同的K 和 Q？

https://www.zhihu.com/question/319339652

我们来看看原论文中的公式：

这就是我们非常熟悉的Self-Attention的计算公式，在这里Q和K是相同的，但是在真正的应用中，通常会分别给K和Q乘上参数矩阵，这样公式会变成如下这样（其中两个参数矩阵进行共享的话，就是reformer的做法）：

在这里，我们把目光放在Softmax上，当Q和K乘上不同的参数矩阵时，根据softmax函数的性质，在给定一组数组成的向量，Softmax先将这组数的差距拉大（由于exp函数），然后归一化，它实质做的是一个soft版本的argmax操作，得到的向量接近一个one-hot向量（接近程度根据这组数的数量级有所不同）。这样做保证在不同空间进行投影，增强了表达能力，提高了泛化能力。

如果令Q和K相同，那么得到的模型大概率会得到一个类似单位矩阵的attention矩阵，这样self-attention就退化成一个point-wise线性映射，对于注意力上的表现力不够强。

05

Transformer中的Attention为什么scaled?

https://www.zhihu.com/question/339723385

在上一个问题中，我们有提到计算Attention分数时，是通过Softmax进行归一化的，而Softmax有可以当作argmax的一种平滑近似，与argmax操作中暴力地选出一个最大值（产生一个one-hot向量）不同，softmax将这种输出作了一定的平滑，即将one-hot输出中最大值对应的1按输入元素值的大小分配给其他位置。而当喂入的数组内部数量级相差较大时，“1分出去的部分”就会越来越少，当数量级相差到一定程度，softmax将几乎全部的概率分布都分配给了最大值对应的标签，其效果也就被削减了。不仅如此，在输入的数量级很大时，还会导致softmax的梯度消失为0，造成参数更新困难，这也是为什么需要对输入先进行缩放的原因。

其次，为什么原文中的计算公式对输入缩放的大小是  ？原论文中是这样解释的：

To illustrate why the dot products get large, assume that the components of q and k are independent random variables with mean 0 and variance 1. Then their dot product,  , has mean 0 and variance dk.

假设向量  和  的各个分量是互相独立的随机变量，均值是0，方差是1，那么点积  的均值是0，方差是  。而方差越大也就说明，点积的数量级越大（以越大的概率取大值）。那么一个自然的做法就是将点积除以  ，将方差控制为1，也就有效地控制了前面提到的梯度消失的问题。

06

在计算注意力分数的时候如何对padding做mask操作？

mask是将一些不要用的值掩盖掉，使其不产生作用，有两种mask，第一种是padding mask，在所有scaled dot-product attention都用到，第二种是sequence mask，在decoder的self-attention里面用到。

• padding mask：因为一个批量输入中，所有序列的长度是不同的，为了符合模型的输入方式，会用padding的方式来填充（比如填0），使所有序列的长度一致。但填充部分是没有意义的，所以在计算注意力的时候，不需要也不应该有注意力分配到这些填充的值上面。所以解决方式就是在填充的位置赋予一个很小的负值/负无穷（-np.inf）的值，经过softmax后的得分为0，即没有注意力分配到这个上面。

seq = tf.cast(x=tf.math.equal(seq, 0), dtype=tf.float32)[:, tf.newaxis, tf.newaxis, :]

• look_ahead_mask：我们知道在计算Q和K的时候，我们目的是通过self-attention获得某个token和它相关联token之间的关联程度，即我们Q和K相乘时，得到一个shape的最后两维为(...seq_len,seq_len)的相关性矩阵，但是，在我们将这个相关性矩阵送进Softmax进行计算之前，我们需要为了防止穿越mask所计算的那个token之后的其他token，为了更方便理解，可以看下面的图：

07

为什么 Transformer 需要 positional encoding ？

https://www.zhihu.com/question/347678607/answer/835053468

在没有 Position embedding 的 Transformer 模型并不能捕捉序列的顺序，交换单词位置后 attention map 的对应位置数值也会进行交换，并不会产生数值变化，即没有词序信息。所以这时候想要将词序信息加入到模型中。

Transformer 使用的解决方案是三角函数实现相对位置信息的表示。原回答已经对论文中的公式做了细致的解释，实质上就是对不同维度使用不同频率的正/余弦公式进而生成不同位置的高维位置向量。不过这里有一点需要解释，为什么奇偶维度之间需要作出区分，分别使用 sin 和 cos 呢？个人觉得主要是因为三角函数的积化和差公式。不过也正如tensor2tensor 的作者对其简洁版本公式的解释那样，奇偶区分可以通过全连接层帮助重排坐标，所以可以直接简单地分为两段(前 256 维使用 sin，后 256 维使用 cos)。

那么我们如何加入到模型中去呢？fairseq 和 Transformer 都是直接把词向量和位置向量直接相加的方式，让人感到疑惑的是为什么不进行拼接？

[W1 W2][e; p] = W1e + W2p，W(e+p)=We+Wp，就是说求和相当于拼接的两个权重矩阵共享(W1=W2=W)，所以拼接总是不会比相加差的。但是由于参数量的增加，其学习难度也会进一步上升。

无论拼接还是相加，最终都要经过多头注意力的各个头入口处的线性变换，进行特征重新组合与降维，其实每一维都变成了之前所有维向量的线性组合。所以这个决定看上去是根据效果决定的，参数少效果好的相加自然成了模型的选择。

08

transformer 为什么使用 layer normalization，而不是其他的归一化方法？

https://www.zhihu.com/question/395811291/answer/1251829041

回答中有一个观点我觉得挺好，就是简单来说，深度学习中的正则化方法就是“通过把一部分不重复的复杂信息损失掉，以此来降低拟合难度以及过拟合的风险，从而加速了模型的收敛”，Normalization目的就是为了让分布稳定下来（降低各维度数据的方差）。所以我们选择不同的Normalization方法，就是针对问题选择在对应维度上进行损失信息。

而对于NLP任务中，同一batch之间的样本（即句子或者句子对之间）关联比较重要，本身我们就是为了通过大量样本对比学习句子中的语义结构，所以做batch Normalization效果不是很好，选择Layer Normalization对样本内部进行损失信息，反而能降低方差。在论文：Rethinking Batch Normalization in Transformers

https://arxiv.org/pdf/2003.07845.pdf

作者对于Transformer中BN表现不好的原因做了一定的empirical和theoretical的分析，其中主要问题是在前向传播和反向传播中，batch统计量和其贡献的梯度都会呈现一定的不稳定性（如下图，在使用BN的Transformer训练过程中，每个batch的均值与方差一直震荡，偏离全局的running statistics）

选择什么样的归一化方法，取决于你关注数据的那部分信息，如果某个维度信息的差异性很重要，需要被拟合，那就别在那个维度上进心Normalization。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“综述专栏”历史文章

更多综述专栏文章，

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！