NLP中各框架对变长序列的处理全解
©PaperWeekly 原创 · 作者|海晨威
学校|同济大学硕士生
研究方向|自然语言处理
在 NLP 中,文本数据大都是变长的,为了能够做 batch 的训练,需要 padding 到相同的长度,并在实际训练中忽略 padding 部分的影响。
def pack_padded_sequence(input, lengths, batch_first=False, enforce_sorted=True):
...
if enforce_sorted:
sorted_indices = None
else:
lengths, sorted_indices = torch.sort(lengths, descending=True)
sorted_indices = sorted_indices.to(input.device)
batch_dim = 0 if batch_first else 1
input = input.index_select(batch_dim, sorted_indices)
...
下面是 pack_padded_sequence 函数的部分 Pytorch 源码,input 就是输入的一个 batch 的 tensor,lengths 是这个 batch 中每个样本的有效长度。
在 pack_padded_sequence 处理之后,会得到一个 PackedSequence 的数据,其除了记录 Tensor data 之外,还会记录 batch_sizes, sorted_indices 和 unsorted_indices,其中 batch_sizes 是将输入按照有效长度排序之后,每个时间步对应的 batch 大小,后面会有例子;sorted_indices 就是对输入 lengths 排序后的索引,unsorted_indices 是用来将排序数据恢复到原始顺序的索引。
在 pack_padded_sequence 中,enforce_sorted 默认设置为 True,也就是说输入的 batch 数据要事先按照长度排序,才能输入,实际上,更简单的方式是,将其设置为 False,从上面的代码中也可以看出,Pytorch 会自动给我们做排序。
注:torch1.1 及之后才有 enforce_sorted 参数,因此 torch1.1 之后才有自动排序功能。
一个简单的例子:
# input_tensor shape:batch_size=2,time_step=3,dim=1
input_tensor = torch.FloatTensor([[4, 0, 0], [5, 6, 0]]).resize_(2, 3, 1)
seq_lens = torch.IntTensor([1, 2])
x_packed = nn_utils.rnn.pack_padded_sequence(input_tensor, seq_lens, batch_first=True, enforce_sorted=False)
PackedSequence(data=tensor([[5.],
[4.],
[6.]]), batch_sizes=tensor([2, 1]), sorted_indices=tensor([1, 0]), unsorted_indices=tensor([1, 0]))
[[5, 6, 0],
[4, 0, 0]]
batch_sizes 记录的每列有几个数据是有效的,也就是每列有效的 batch_size 长度,但是不包括为 0 的长度,因此上面例子中,x_packed 的 batch_sizes=tensor([2, 1]),因此,每个 time_step 只需要传入对应 batch_size 个数据即可,可以减少计算量。
def pad_packed_sequence(sequence, batch_first=False, padding_value=0.0, total_length=None):
max_seq_length = sequence.batch_sizes.size(0)
if total_length is not None:
max_seq_length = total_length
...
这里要注意的一个参数是 total_length,它是 sequence 需要去被 padding 的长度,我们期望的一般都是 padding 到和输入序列一样的 time_step 长度 ,但是PackedSequence 型数据并没有记录这个数据,因此它用的是 sequence.batch_sizes.size(0),也就是 batch_sizes 这个 tensor 的长度。
上面已经提到,batch_sizes 不包含都是 padding 的时间步,这样,如果整个 batch 中的每条记录有都做padding,那 batch_sizes 这个 tensor 的长度就会小于 time_step ,就像上面代码中的例子。
这时如果没有设置 total_length,pad_packed_sequence 就不会 padding 到我们想要的长度。
为了方便使用,这里将 pack_padded_sequence,LSTM 和 pad_packed_sequence 做了一个封装,参数和原始 LSTM 一样,唯一的区别是使用中要输入 seq_lens 数据。
class MaskedLSTM(Module):
def __init__(self, input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0., bidirectional=False):
super(MaskedLSTM, self).__init__()
self.batch_first = batch_first
self.lstm = LSTM(input_size, hidden_size, num_layers=num_layers, bias=bias,
batch_first=batch_first, dropout=dropout, bidirectional=bidirectional)
def forward(self, input_tensor, seq_lens):
# input_tensor shape: batch_size*time_step*dim , seq_lens: (batch_size,) when batch_first = True
total_length = input_tensor.size(1) if self.batch_first else input_tensor.size(0)
x_packed = pack_padded_sequence(input_tensor, seq_lens, batch_first=self.batch_first, enforce_sorted=False)
y_lstm, hidden = self.lstm(x_packed)
y_padded, length = pad_packed_sequence(y_lstm, batch_first=self.batch_first, total_length=total_length)
return y_padded, hidden
小总结:
keras 中对于变长序列的处理,一般使用 Masking 层,如果需要用到 Embedding 层,那可以直接在 Embedding 中设置 mask_zero=True,就不需要再加 Masking 层了,但本质上都是建了布尔型的 mask 矩阵并往下游传递下去。
下面是 Masking 和 Embedding 层的定义:
Masking(mask_value=0.,input_shape=(time_step,feature_size))
Embedding(input_dim, output_dim, mask_zero=False, input_length=None)
# Embedding 层中的mask计算函数
def compute_mask(self, inputs, mask=None):
if not self.mask_zero:
return None
output_mask = K.not_equal(inputs, 0)
return output_mask
input = keras.layers.Input((time_step,feature_size))
mask = keras.layers.Masking(mask_value=0, input_shape=(time_step,feature_size))(input)
lstm_output = keras.layers.LSTM(hidden_size, return_sequences=True)(mask)
model = Model(input, lstm_output)
input = keras.layers.Input((time_step,))
embed = keras.layers.Embedding(vocab_size, embedding_size, mask_zero=True)(input)
lstm_output = keras.layers.LSTM(hidden_size, return_sequences=True)(emd)
model = Model(input, lstm_output)
在 TF (tf 1.x) 中是通过 dynamic_rnn 来实现变长序列的处理,它和 pytorch 的 pack_padded_sequence 一样,也有 sequence_length 参数,但它相对比 pytorch 更方便,不用手动去 pack 和 pad,只要传递 sequence_length 参数,其他都由 dynamic_rnn 来完成。
但是 TF 中 dynamic_rnn 计算的循环次数仍然是 time_steps 次,并没有带来计算效率上的提升。sequence length 的作用只是在每个序列达到它的实际长度后,把后面时间步的输出全部置成零、状态全部置成实际长度那个时刻的状态。
# 静态图定义部分
basic_cell = tf.nn.rnn_cell.LSTMCell(hidden_size)
X = tf.placeholder(tf.float32, shape=[None, time_step, dim])
seq_length = tf.placeholder(tf.int32, [None])
outputs, states = tf.nn.dynamic_rnn(basic_cell, X, dtype=tf.float32, sequence_length=seq_length)
参考文献
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
📝 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
📬 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。