查看原文
其他

深度学习算法(第20期)----创意RNN和深度RNN的简单实现

左右Shawn 智能算法 2021-09-10

上期我们一起学习了如何训练RNN并预测时序信号,
深度学习算法(第19期)----RNN如何训练并预测时序信号?
今天我们一起简单学习下创意RNN和深度RNN的实现。

1. 创意RNN

经过上期的学习,我们有了一个可以预测未来时序信号的模型。那么我们也可以用它来产生一些有创意的句子。我们所需要做的就是提供一个包含n_steps个值的种子句子(比如全是0),用这个模型来预测下一个值。然后将这个预测值添加到句子中,依次产生一个新的句子。具体实现如下:

sequence = [0.] * n_steps
for iteration in range(300):
X_batch = np.array(sequence[-n_steps:]).reshape(1, n_steps, 1)
y_pred = sess.run(outputs, feed_dict={X: X_batch})
sequence.append(y_pred[0, -1, 0])

现在我们可以把周杰伦的专辑输入到RNN网络中,看看能产生什么样子的歌曲出来。然而,有时候我们需要一个拥有更多神经元的更深的更加强大的RNN,那接下来,我们看下深度RNN。

2. 深度RNN

深度RNN其实跟深度CNN差不多,叠加更多层的神经元而已,如下图:

那么在tensorflow中该如何实现呢?我们可以穿件几个神经元,并且把他们堆叠到MultiRNNCell中。下面的代码中,我们堆叠了三个相同的神经元(我们也可以堆叠多种不同类型不同个数的神经元):

n_neurons = 100
n_layers = 3
basic_cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
multi_layer_cell = tf.contrib.rnn.MultiRNNCell([basic_cell] * n_layers)
outputs, states = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32)

这就是一个简单的深度RNN的例子,状态变量是一个包含每层一个tensor的元组。每一个代表那个层的神经元的最终状态(shape为[batch_size, n_neurons])。 好了,至此,今天我们简单学习了创意RNN和深度RNN的简单实现,希望有些收获,欢迎留言或进社区共同交流,喜欢的话,就点个“在看”吧,您也可以置顶公众号,第一时间接收最新内容。


智能算法,与您携手,沉淀自己,引领AI!


: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存