[英]Show progress bar for each epoch during batchwise training in Keras
当我在内存中加载整个数据集并使用以下代码在 Keras 中训练网络时:
model.fit(X, y, nb_epoch=40, batch_size=32, validation_split=0.2, verbose=1)
这会在每个时期生成一个进度条,其中包含 ETA、准确性、损失等指标
当我批量训练网络时,我使用以下代码
for e in range(40):
for X, y in data.next_batch():
model.fit(X, y, nb_epoch=1, batch_size=data.batch_size, verbose=1)
这将为每个批次而不是每个时期生成一个进度条。 是否可以在批量训练期间为每个 epoch 生成进度条?
model.fit(X, y, nb_epoch=40, batch_size=32, validation_split=0.2, verbose=1)
在上面对verbose=2
更改中,如文档中所述:
详细:0 表示不记录到标准输出,1 表示进度条记录,2 表示每个 epoch 的一个日志行
它会将您的输出显示为:
Epoch 1/100
0s - loss: 0.2506 - acc: 0.5750 - val_loss: 0.2501 - val_acc: 0.3750
Epoch 2/100
0s - loss: 0.2487 - acc: 0.6250 - val_loss: 0.2498 - val_acc: 0.6250
Epoch 3/100
0s - loss: 0.2495 - acc: 0.5750 - val_loss: 0.2496 - val_acc: 0.6250
.....
.....
如果要显示完成 epoch 的进度条,请保持verbose=0
(关闭记录到标准输出)并按以下方式实施:
from time import sleep
import sys
epochs = 10
for e in range(epochs):
sys.stdout.write('\r')
for X, y in data.next_batch():
model.fit(X, y, nb_epoch=1, batch_size=data.batch_size, verbose=0)
# print loss and accuracy
# the exact output you're looking for:
sys.stdout.write("[%-60s] %d%%" % ('='*(60*(e+1)/10), (100*(e+1)/10)))
sys.stdout.flush()
sys.stdout.write(", epoch %d"% (e+1))
sys.stdout.flush()
输出如下:
[============================================================] 100%, epoch 10
如果要在每 n 个批次后显示损失,可以使用:
out_batch = NBatchLogger(display=1000)
model.fit([X_train_aux,X_train_main],Y_train,batch_size=128,callbacks=[out_batch])
虽然,我以前从未尝试过。 上面的例子取自这个 keras github 问题: Show Loss Every N Batches #2850
您还可以在此处查看NBatchLogger
的演示:
class NBatchLogger(Callback):
def __init__(self, display):
self.seen = 0
self.display = display
def on_batch_end(self, batch, logs={}):
self.seen += logs.get('size', 0)
if self.seen % self.display == 0:
metrics_log = ''
for k in self.params['metrics']:
if k in logs:
val = logs[k]
if abs(val) > 1e-3:
metrics_log += ' - %s: %.4f' % (k, val)
else:
metrics_log += ' - %s: %.4e' % (k, val)
print('{}/{} ... {}'.format(self.seen,
self.params['samples'],
metrics_log))
您也可以使用progbar
进行进度,但它会progbar
打印进度
from keras.utils import generic_utils
progbar = generic_utils.Progbar(X_train.shape[0])
for X_batch, Y_batch in datagen.flow(X_train, Y_train):
loss, acc = model_test.train([X_batch]*2, Y_batch, accuracy=True)
progbar.add(X_batch.shape[0], values=[("train loss", loss), ("acc", acc)])
tqdm
(版本 >= 4.41.0)还刚刚添加了对keras
内置支持,因此您可以执行以下操作:
from tqdm.keras import TqdmCallback
...
model.fit(..., verbose=0, callbacks=[TqdmCallback(verbose=2)])
这会关闭keras
的进度( verbose=0
),并使用tqdm
代替。 对于回调, verbose=2
表示 epochs 和 batches 的单独进度条。 1
表示完成后清除批处理条。 0
表示只显示纪元(从不显示批次条)。
您可以设置 verbose=0 并设置回调,以在每次拟合结束时更新进度,
clf.fit(X, y, nb_epoch=1, batch_size=data.batch_size, verbose=0, callbacks=[some_callback])
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.