如何将此数据集拆分为训练集、验证集和测试集？

Question

我已经按照https://www.tensorflow.org/tutorials/load_data/images的说明用我自己的数据定义了一个数据集，如下所示：

list_ds = tf.data.Dataset.list_files(str(data_dir/'*/*'))

我查看了tf.data.Dataset的方法，但无法弄清楚如何将此数据集拆分为三部分（训练、验证、测试），如tfds.Split 。

我怎样才能把这个数据集分成三部分？ 我希望训练/验证/测试集的大小分别为 list_ds 的 80%、10%、10%。

Answer 1

这可以通过多种方式实现：

1) 将您的训练、测试和验证数据放入三个单独的文件夹中，并使用适当的文件路径调用tf.data.Dataset.list_files(...) 3 次。

2）利用Dataset.skip()和Dataset.take() 。 您必须根据数据集大小手动计算要跳过/获取的实际条目数。

有关数据集操作的更多信息可以在 TF Docs 中找到： https : //www.tensorflow.org/guide/data

希望这有帮助！