[英]Quantization aware training in TensorFlow version 2 and BatchNorm folding
我想知道在 Tensorflow 2 的量化感知训练期间模拟 BatchNorm 折叠的当前可用选项是什么。Tensorflow 1 具有tf.contrib.quantize.create_training_graph
函数,该函数将 FakeQuantization 层插入图中并负责模拟批量归一化折叠(根据本白皮书)。
Tensorflow 2 在他们最近采用的tf.keras
API 中有一个关于如何使用量化的教程,但他们没有提到关于批量标准化的任何内容。 我使用 BatchNorm 层尝试了以下简单示例:
import tensorflow_model_optimization as tfmo
model = tf.keras.Sequential([
l.Conv2D(32, 5, padding='same', activation='relu', input_shape=input_shape),
l.MaxPooling2D((2, 2), (2, 2), padding='same'),
l.Conv2D(64, 5, padding='same', activation='relu'),
l.BatchNormalization(), # BN!
l.MaxPooling2D((2, 2), (2, 2), padding='same'),
l.Flatten(),
l.Dense(1024, activation='relu'),
l.Dropout(0.4),
l.Dense(num_classes),
l.Softmax(),
])
model = tfmo.quantization.keras.quantize_model(model)
然而,它给出了以下例外:
RuntimeError: Layer batch_normalization:<class 'tensorflow.python.keras.layers.normalization.BatchNormalization'> is not supported. You can quantize this layer by passing a `tfmot.quantization.keras.QuantizeConfig` instance to the `quantize_annotate_layer` API.
这表明 TF 不知道如何处理它。
我还看到了这个相关主题,他们将tf.contrib.quantize.create_training_graph
应用于 keras 构建的模型。 然而,他们不使用 BatchNorm 层,所以我不确定这会起作用。
那么在 TF2 中使用这个 BatchNorm 折叠功能有哪些选择呢? 这可以从 keras API 完成,还是应该切换回 TensorFlow 1 API 并以旧方式定义图形?
如果您在激活前添加 BatchNormalization,则不会出现量化问题。 注意:只有当层正好在 Conv2D 层之后时,BatchNormalization 才支持量化。 https://www.tensorflow.org/model_optimization/guide/quantization/training
# Change
l.Conv2D(64, 5, padding='same', activation='relu'),
l.BatchNormalization(), # BN!
# with this
l.Conv2D(64, 5, padding='same'),
l.BatchNormalization(),
l.Activation('relu'),
#Other way of declaring the same
o = (Conv2D(512, (3, 3), padding='valid' , data_format=IMAGE_ORDERING))(o)
o = (BatchNormalization())(o)
o = Activation('relu')(o)
您应该按照说明应用量化注释。 我认为您现在可以像这样调用 BatchNorm:
class DefaultBNQuantizeConfig(tfmot.quantization.keras.QuantizeConfig):
def get_weights_and_quantizers(self, layer):
return []
def get_activations_and_quantizers(self, layer):
return []
def set_quantize_weights(self, layer, quantize_weights):
pass
def set_quantize_activations(self, layer, quantize_activations):
pass
def get_output_quantizers(self, layer):
return [tfmot.quantization.keras.quantizers.MovingAverageQuantizer(
num_bits=8, per_axis=False, symmetric=False, narrow_range=False)]
def get_config(self):
return {}
如果你仍然想对层进行量化,将 get_weights_and_quantizers 的返回值更改为return [(layer.weights[i], LastValueQuantizer(num_bits=8, symmetric=True, narrow_range=False, per_axis=False)) for i in range(2)]
。 然后根据上面 set_quantize_weights 处的返回列表的索引将量化器设置回 gamma,beta,...。 但是,我不鼓励这种方式,因为它肯定会损害准确性,因为 BN 应该充当激活量化
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.