TensorFlow MovingAverageOptimizer V1 和 V2 之间的兼容性

Question

我有以下最初用 TensorFlow 1.X 编写的优化器

optimizer = tf.train.AdamOptimizer(AdamOptimizer()
optimizer = tf.contrib.opt.MovingAverageOptimizer(optimizer, average_decay=moving_average_decay)

但现在我被迫使用 Tensorflow 2.2，我尝试迁移所有内容，以便它支持 v1 的所有功能。 我设法“修复”了 AdamOptimizer：

optimizer = tf.compat.v1.train.AdamOptimizer()

但我找不到 MovingAverage() 的任何实现。 有任何想法吗？

Answer 1

根据 TensorFlow v1 文档：

tf.contrib 模块将不包含在 TensorFlow 2.0 中。 它的许多子模块已集成到 TensorFlow 内核中，或分拆到其他项目中，例如 tensorflow_io 或 tensorflow_addons。

因此，请使用存在 MovingAverage 实现的tensorflow -addons package。

pip install tensorflow-addons

然后

import tensorflow_addons as tfa
my_ma = tfa.optimizers.MovingAverage(tf.train.AdamOptimizer(...), average_decay=...)