如何使用 EarlyStopping 或 ModelCheckpoint 回调中的自定义指标？

Question

我想在另一个回调（如 EarlyStopping 或 ModelCheckpoint）中使用来自回调的自定义指标。 但是我需要以某种方式保存/存储/记录这个自定义指标，以便其他回调可以访问它？

我有：

class Metrics(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):

        self.precision = []
        self.f1s = []
        self.prc=0
        self.f1s=0

    def on_epoch_end(self, epoch, logs={}):
        score = np.asarray(self.model.predict([self.validation_data[0],self.validation_data[1]]))
        predict = np.round(np.asarray(self.model.predict([self.validation_data[0],self.validation_data[1]])))
        targ = self.validation_data[2]

        predict = (predict < 0.5).astype(np.float)


        self.prc=sklm.precision_score(targ, predict)
        self.f1s=sklm.f1_score(targ, predict)
        self.precision.append(prc)
        self.f1s.append(f1s)

        print("— val_f1: %f — val_precision: %f" %(self.f1s, self.prc))
        return

现在，

metrics = Metrics()

es = EarlyStopping(monitor=metrics.prc, mode='max', verbose=1, patience=3,min_delta=0.01,restore_best_weights=True)

model.compile(loss=contrastive_loss, optimizer=adam)
model.fit([train_sen1, train_sen2], train_labels,
          batch_size=512,
          epochs=20,callbacks=[metrics,es],
          validation_data=([dev_sen1, dev_sen2], dev_labels))

由于 Earlystopping 不了解自定义精度指标，因此不起作用？

有人知道这个回调日志语句吗？ 我可以在那里调整我的指标吗？

Answer 1

要了解这里真正发生了什么，您必须 go 检查 github 上的 EarlyStopping 和 ModelCheckpoint 类的源代码。 你可以在这里找到它。

您的代码中的问题是您没有更新“on_epoch_end”function 中的“日志”字典。 在该词典中，EarlyStopping 和 ModelCheckpoint go 类正在寻找您定义为“监视器”的内容。

因此，在您的情况下，如果您要使用精度分数作为监视器，您的代码应该 go 如下：

class Metrics(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):

        self.precision = []
        self.f1scores = []
        self.prc=0
        self.f1s=0

    def on_epoch_end(self, epoch, logs={}):
        score = np.asarray(self.model.predict([self.validation_data[0],self.validation_data[1]]))
        predict = np.round(np.asarray(self.model.predict([self.validation_data[0],self.validation_data[1]])))
        targ = self.validation_data[2]

        predict = (predict < 0.5).astype(np.float)


        self.prc=sklm.precision_score(targ, predict)
        self.f1s=sklm.f1_score(targ, predict)
        self.precision.append(prc)
        self.f1scores.append(f1s)

        #Here is where I update the logs dictionary:
        logs["prc"]=self.prc
        logs["f1s"]=self.f1s

        print("— val_f1: %f — val_precision: %f" %(self.f1s, self.prc))

然后，您可以在 CheckpointModel 和 EarlyStopping 中调用这些自定义指标。 但是请务必在 fit_generator 中以正确的顺序放置这些回调：指标应该放在第一位，否则当您运行 EarlyStopping 时，您的日志将不会更新。

metrics = Metrics()

es = EarlyStopping(monitor="prc", mode='max', verbose=1, patience=3,min_delta=0.01,restore_best_weights=True)

model.compile(loss=contrastive_loss, optimizer=adam)
model.fit([train_sen1, train_sen2], train_labels,
          batch_size=512,
          epochs=20,callbacks=[metrics,es],
          validation_data=([dev_sen1, dev_sen2], dev_labels))

Answer 2

zealous_nightingale 的答案适用于EarlyStopping回调，但是，对于ModelCheckpoint回调，您可能还需要将_supports_tf_logs标志设置为False ，以便将更新的log字典传递给回调：

weights_path = 'checkpoint-{epoch:02d}-{customer_metric_name:.4f}.h5'
checkpoint = tf.keras.callbacks.ModelCheckpoint(weights_path, monitor='customer_metric_name')
checkpoint._supports_tf_logs = False