如何將Dense層的參數的數據類型設置為float16？

Question

我想將Tensorflow Dense層與float16參數一起使用。 偏壓和權重的默認數據類型均為float32，我嘗試通過設置初始化程序tf.truncated_normal_initializer(dtype=tf.float16)來設置數據類型，但似乎沒有任何作用。

import tensorflow as tf
A = tf.get_variable(name='foo', shape=[3, 3])
dense = tf.layers.dense(inputs=A, units=3, kernel_initializer=tf.truncated_normal_initializer(dtype=tf.float16))
varis = tf.trainable_variables(scope=None)
print(varis[1])  # <tf.Variable 'dense/kernel:0' shape=(3, 3) dtype=float32_ref>

如何使用帶有float16參數的Tensorflow Dense ？

Answer 1

我想出了一種方法來執行此操作，即將密層的輸入數據類型設置為tf.float16

import tensorflow as tf
A = tf.get_variable(name='foo', shape=[3, 3], dtype=tf.float16)
dense = tf.layers.dense(inputs=A, units=3)
varis = tf.trainable_variables(scope=None)
print(varis[1])  # <tf.Variable 'dense/kernel:0' shape=(3, 3) dtype=float16_ref>