tensorflow gpu 上的 2.0 自定義層

Question

TensorFlow 中完全定制的層會自動在 GPU 上運行嗎？ 我注意到在本文檔（ https://www.tensorflow.org/guide/keras/rnn#rnn_layers_and_rnn_cells ）中似乎 RNN 包裝器不會使用 CudNN？ 這意味着它不會在 GPU 上運行，對吧？

Answer 1

您的自定義圖層仍將使用 GPU 並且您可以按照此答案中的說明進行確認。

盡管自定義層不會使用 cuDNN，但您是對的。 為什么這有關系？ 在 NVidia 之后引用：

cuDNN 為標准例程提供高度調整的實現，例如前向和后向卷積、池化、歸一化和激活層

換句話說，使用這些優化的原語將提高訓練的性能。 cuDNN: Efficient Primitives for Deep Learning論文中提供了許多帶有詳細解釋的示例。 以空間卷積為例。 未優化的實現將使用“幼稚”的方法，而 cuDNN 使用各種技巧來減少操作數量並適當地對它們進行批處理。 與經典 CPU 相比，GPU 仍然很快，cuDNN 只是讓它更快。 有關最新的獨立基准，請查看例如這篇文章。

盡管如此，如果 Tensorflow 在 GPU 模式下運行，完整的計算圖將在 GPU 上執行（據我所知，甚至沒有簡單的方法可以取出圖的中間層），