估計張量流模型的內存需求

Question

我如何估計我的張量流模型的內存需求？ 以下內容應能給出一些准確的表示？

size = 0
for variable in tf.all_variables():
    size += int(np.prod(variable.get_shape()))

print(size)

size應為變量數。 那么size * dtype應該是內存需求的估計嗎？

Answer 1

不，您還必須考慮其他張量（例如tf.placeholder和tf.constant ），並且還應該留有漸變空間，因為我相信在前向傳遞過程中會緩存一堆值，以便反向傳播不會變得太慢了。