[英]Tensorflow custom estimator for logical 'AND'
我正在尝试使用tensorflow自定义估算器创建一个简单的单层/单单位nn,该估算器将能够计算逻辑AND操作,但是在S型激活时遇到了麻烦-我想设置阈值
这是我的代码
x = np.array([
[0, 0],
[1, 0],
[0, 1],
[1, 1]
], dtype=np.float32)
y = np.array([
[0],
[0],
[0],
[1]
])
def sigmoid(val):
res = tf.nn.sigmoid(val)
isGreater = tf.greater(res, tf.constant(0.5))
return tf.cast(isGreater, dtype=tf.float32)
def model_fn(features, labels, mode, params):
predictions = tf.layers.dense(inputs=features, units=1, activation=sigmoid)
if mode == tf.estimator.ModeKeys.PREDICT:
return tf.estimator.EstimatorSpec(mode=mode, predictions=predictions)
loss = tf.losses.sigmoid_cross_entropy(labels, predictions)
optimizer = tf.train.GradientDescentOptimizer(0.5)
train_op = optimizer.minimize(loss, global_step=tf.train.get_global_step())
return tf.estimator.EstimatorSpec(mode=mode, loss=loss, train_op=train_op)
nn = tf.estimator.Estimator(model_fn=model_fn)
input_fn = tf.estimator.inputs.numpy_input_fn(x=x, y=y, shuffle=False, num_epochs=None)
nn.train(input_fn=input_fn, steps=500)
但是这会引发错误
ValueError: No gradients provided for any variable, check your graph for ops that do not support gradients, between variables ["<tf.Variable 'dense/kernel:0' shape=(2, 1) dtype=float32_ref>", "<tf.Variable 'dense/bias:0' shape=(1,) dtype=float32_ref>"] and loss Tensor("sigmoid_cross_entropy_loss/value:0", shape=(), dtype=float32).
我怎样才能解决这个问题? 请帮忙..
我有另一个问题-为什么Tensorflow没有内置的S型门限阈值? 这不是二进制分类(使用Sigmoid / tanh)中最需要的东西之一吗?
有一个内置的Sigmoid激活,即tf.nn.sigmoid
。
但是,在创建网络时,切勿在最后一层使用激活。 您需要向该层提供未缩放的logit,如下所示:
predictions = tf.layers.dense(inputs=features, units=1, activation=None)
loss = tf.losses.sigmoid_cross_entropy(labels, predictions)
否则,使用您的自定义S形,您的预测将为0
或1
并且对此没有可用的渐变。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.