Dropout 的应用

对于深层深度 RNN，在训练集上很容易过拟合。Dropout 是防止过拟合的常用技术。

可以简单的在 RNN 层之前或之后添加一层 Dropout 层，但如果需要在 RNN 层之间应用 Dropout 技术就需要DropoutWrapper。

下面的代码中，每一层的 RNN 的输入前都应用了 Dropout，Dropout 的概率为 50%。

  1. keep_prob = 0.5
  3. cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
  4. cell_drop = tf.contrib.rnn.DropoutWrapper(cell, input_keep_prob=keep_prob)
  5. multi_layer_cell = tf.contrib.rnn.MultiRNNCell([cell_drop]*n_layers)
  6. rnn_outputs, states = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32)

同时也可以通过设置output_keep_prob来在输出应用 Dropout 技术。

然而在以上代码中存在的主要问题是，Dropout 不管是在训练还是测试时都起作用了，而我们想要的仅仅是在训练时应用 Dropout。

很不幸的是DropoutWrapper不支持is_training这样一个设置选项。因此必须自己写 Dropout 包装类，或者创建两个计算图，一个用来训练，一个用来测试。后则可通过如下面代码这样实现。

  1. import sys
  2. is_training  = (sys.argv[-1] == "train")
  4. X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
  5. y = tf.placeholder(tf.float32, [None, n_steps, n_outputs])
  6. cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
  7. if is_training:
  8.     cell = tf.contrib.rnn.DropoutWrapper(cell, input_keep_prob=keep_prob)
  9. multi_layer_cell = tf.contrib.rnn.MultiRNNCell([cell]*n_layers)
  10. rnn_outpus, status = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32)
  12. [...] #  bulid the rest of the graph
  13. init = tf.global_variables_initializer()
  14. saver = tf.train.Saver()
  16. with tf.Session() as sess:
  17.     if is_training:
  18.         init.run()
  19.         for iteration in range(n_iterations):
  20.             [...] #  train the model
  21.         save_path = saver.save(sess, "/tmp/my_model.ckpt")
  22.     else:
  23.         saver.restore(sess, "/tmp/my_model.ckpt")
  24.         [...] #  use the model

通过以上的方法就能够训练各种 RNN 网络了。然而对于长序列的 RNN 训练还言之过早，事情会变得有一些困难。

那么我们来探讨一下究竟这是为什么和怎么应对呢？