其他
深度学习算法(第20期)----创意RNN和深度RNN的简单实现
上期我们一起学习了如何训练RNN并预测时序信号,
深度学习算法(第19期)----RNN如何训练并预测时序信号?
今天我们一起简单学习下创意RNN和深度RNN的实现。
1. 创意RNN
经过上期的学习,我们有了一个可以预测未来时序信号的模型。那么我们也可以用它来产生一些有创意的句子。我们所需要做的就是提供一个包含n_steps个值的种子句子(比如全是0),用这个模型来预测下一个值。然后将这个预测值添加到句子中,依次产生一个新的句子。具体实现如下:
sequence = [0.] * n_steps
for iteration in range(300):
X_batch = np.array(sequence[-n_steps:]).reshape(1, n_steps, 1)
y_pred = sess.run(outputs, feed_dict={X: X_batch})
sequence.append(y_pred[0, -1, 0])
2. 深度RNN
深度RNN其实跟深度CNN差不多,叠加更多层的神经元而已,如下图:
那么在tensorflow中该如何实现呢?我们可以穿件几个神经元,并且把他们堆叠到MultiRNNCell中。下面的代码中,我们堆叠了三个相同的神经元(我们也可以堆叠多种不同类型不同个数的神经元):
n_neurons = 100
n_layers = 3
basic_cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
multi_layer_cell = tf.contrib.rnn.MultiRNNCell([basic_cell] * n_layers)
outputs, states = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32)
这就是一个简单的深度RNN的例子,状态变量是一个包含每层一个tensor的元组。每一个代表那个层的神经元的最终状态(shape为[batch_size, n_neurons])。 好了,至此,今天我们简单学习了创意RNN和深度RNN的简单实现,希望有些收获,欢迎留言或进社区共同交流,喜欢的话,就点个“在看”吧,您也可以置顶公众号,第一时间接收最新内容。