Tensorflow的dynamic_rnn返回隐藏状态与最终状态

Question

tensorflow.nn.dynamic_rnn创建一个递归神经网络给定的cell ，它是RNNCell一个实例，并返回一对包括：

• outputs ：RNN输出Tensor
• state ：最终状态

这是一个玩具递归神经网络及其输出[*]：

import numpy as np
import tensorflow as tf

dim = 3
hidden = 4

lengths = tf.placeholder(dtype=tf.int32, shape=[None])
inputs = tf.placeholder(dtype=tf.float32, shape=[None, None, dim])
cell = tf.nn.rnn_cell.LSTMCell(hidden, state_is_tuple=True)
output, final_state = tf.nn.dynamic_rnn(
          cell, inputs, lengths, dtype=tf.float32)

inputs_ = np.asarray([[[0, 0, 0], [1, 1, 1], [2, 2, 2]],
                     [[6, 6, 6], [7, 7, 7], [8, 8, 8]],
                     [[9,9,9], [10,10,10], [11,11,11]]],                                          
                     dtype=np.int32)

lengths_ = np.asarray([3, 1, 2], dtype=np.int32)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    output_, final_state_ = sess.run(
        [output, final_state],
        {inputs: inputs_, lengths: lengths_})

    print('hidden states:')
    print(output_)

    print('final state :')
    print(final_state_)

输出：

hidden states:
[[[ 0.0000000e+00  0.0000000e+00  0.0000000e+00  0.0000000e+00]
  [-3.0096283e-02  1.6747195e-01  2.3113856e-02 -4.5677904e-02]
  [-6.0795926e-02  3.5036778e-01  6.0140129e-02 -1.6039203e-01]]

 [[-2.1957003e-03  8.1749000e-02  1.2620161e-02 -2.8342882e-01]
  [ 0.0000000e+00  0.0000000e+00  0.0000000e+00  0.0000000e+00]
  [ 0.0000000e+00  0.0000000e+00  0.0000000e+00  0.0000000e+00]]

 [[-1.7376180e-04  2.7789388e-02  3.1011081e-03 -3.5858861e-01]
  [-2.5059914e-04  4.5771234e-02  4.5708413e-03 -6.5035087e-01]
  [ 0.0000000e+00  0.0000000e+00  0.0000000e+00  0.0000000e+00]]]

final state :
LSTMStateTuple(
       c=array([[-1.0705842e-01,  5.2945197e-01,  1.5602852e-01, -2.5641304e-01],
       [-3.3140955e-03,  8.6112522e-02,  7.2794281e-02, -3.6088336e-01],
       [-3.4701003e-04,  4.6147645e-02,  6.7321308e-02, -8.6465287e-01]],
      dtype=float32),
       h=array([[-6.0795926e-02,  3.5036778e-01,  6.0140129e-02, -1.6039203e-01],
       [-2.1957003e-03,  8.1749000e-02,  1.2620161e-02, -2.8342882e-01],
       [-2.5059914e-04,  4.5771234e-02,  4.5708413e-03, -6.5035087e-01]],
      dtype=float32))

我的理解如下：

• 隐藏状态对应于批次中每个序列的每个时间步长的LSTM单元的输出;
• 最终状态包括每个序列（ c组分）的最后一个细胞状态以及每个序列的最后隐藏状态（ h组分）;

因此，我不应该在结局状态的h分量和每个序列的最后隐藏状态中获得相同的值吗？

[*] Code很大程度上受到了这篇文章的启发

Answer 1

最终状态组件的h包含LSTM的最后一个输出 ，而在dynamic_rnn的情况下，它考虑了您作为参数给出的长度 （ lengths ）

正如您在示例中看到的那样， final_state.h[0]等于output[0][2] ，因为第一个示例的长度是3， final_state.h[1]等于output[1][0]因为你的第二个例子的长度是一个等等。