Keras Model 中無限數據集的 steps_per_epoch 和 validation_steps

Question

我有一個包含 csv 個文件的龐大數據集，文件大小約為 200GB。 我不知道數據集中的記錄總數。 我正在使用make_csv_dataset創建一個 PreFetchDataset 生成器。

當 Tensorflow 抱怨為無限數據集指定 steps_per_epoch 和 validation_steps 時，我遇到了問題....

1. 如何指定 steps_per_epoch 和 validation_steps？

2. 我可以將這些參數作為總數據集大小的百分比傳遞嗎？

3. 我可以以某種方式避免這些參數，因為我希望我的整個數據集在每個時期都被迭代嗎？

我認為當我們提前知道數據記錄總數時， 這個 SO線程會回答這種情況。

這是文檔的屏幕截圖。 但我沒有得到正確的。

最后一行是什么意思？

Answer 1

除了遍歷整個數據集，我看不到其他選擇。

ds = tf.data.experimental.make_csv_dataset('myfile.csv', batch_size=16, num_epochs=1)

for ix, _ in enumerate(ds, 1):
    pass

print('The total number of steps is', ix)

不要忘記num_epochs參數。