TensorFlow批量規范化實現之間有什么區別？

Question

TensorFlow似乎實現了至少3個版本的批量規范化：

• tf.nn.batch_normalization
• tf.layers.batch_normalization
• tf.contrib.layers.batch_norm

這些都有不同的論點和文檔。

這些之間有什么區別，我應該使用哪一個？

Answer 1

它們實際上非常不同。

• nn.batch_normalization執行基本操作（即簡單規范化）
• layers.batch_normalization是一個batchnorm“層”，即它負責設置可訓練的參數等。在一天結束時，它是nn.batch_normalization的包裝器。 這是你想要使用的那個，除非你想自己設置變量等。

例如，它類似於nn.conv2d和layers.conv2d之間的區別。

對於contrib版本，我不能肯定地說，但在我看來，它似乎是一個實驗版本，其中一些額外參數在“常規” layers不可用。

Answer 2

這些都基於同一篇論文： http ： //arxiv.org/abs/1502.03167所以他們應該做同樣的事情。

有些函數會在代碼中移動，但舊版本會保持向后兼容性，最終會出現多個版本。

我建議使用最簡單的一個讓你做項目（即tf.nn.batch_normalization）。 如果您需要未提供的功能/參數，請選擇適合您的功能/參數。

注意：tf.contrib。*不保證保持向后兼容（api可能在將來的版本中更改）。