大小不等的Tensorflow TFrecord文件

Question

目前，我将数据分成几个TFrecord文件，然后通过混排和交织来读取数据。 我的代码如下：

path_to_files = glob('train_*.tfrecord')
n_files = len(path_to_files)
tf_dataset = tf.data.Dataset.list_files(path).shuffle(n_files)
tf_dataset = tf_dataset.interleave(lambda filename: tf.data.TFRecordDataset(filename, num_parallel_reads=4).map(parseFunc), cycle_length=n_files)
tf_dataset = tf_dataset.shuffle(buffer_size=n_files*3)  
tf_dataset = tf_dataset.batch(batchsize)
tf_dataset = tf_dataset.prefetch(buffer_size=batchsize)

我有两个问题：

1）我的鳕鱼确实在做我打算做的事。 即，它是否从每个TFrecord文件中随机抽取样本

2）如果TFrecord文件包含非常不同的样本量（例如1个样本将包含50个样本，另外500个样本）会发生什么情况。 这会完全影响随机性吗？

谢谢！

Answer 1

Q1：不完全是。 首先，该行不需要显式洗牌， list_files已经具有此参数。 可以通过种子值来控制。

tf_dataset = tf.data.Dataset.list_files(path, shuffle=True, seed=1).

没有重复功能，当迭代器耗尽所有文件时，您将收到序列结束错误。 所以应该是这样。 使用None作为值传递时，它将无限期地进行迭代，或者您可以设置确切的时期数。

tf_dataset = tf.data.Dataset.list_files(path, shuffle=True, seed).repeat()

Q2：可以，如果文件的大小不同。 唯一的结果是大文件的内容将有更高的机会被迭代器选择。 但这不会影响随机性。 这行将完成工作，对交错的数据集进行混洗。 唯一要记住的是，混洗缓冲区控制着加载到内存中的数据量。 通常建议将其设置为数据集中的示例数量（所有文件中所有示例的数量），但是在某些情况下，它可能会成为相当大的开销，甚至会导致OOM。

tf_dataset = tf_dataset.shuffle(buffer_size=n_files*3)  

Answer 2

因此，我进行了如下模拟测试：我保存了3个文件：文件1：〜1000个数字1的样本文件2：〜2000个2号样本的文件3：〜3000个3号样本

然后，我将上面的代码加载到迭代器中，并采样了批次，直到迭代器用完为止。 以下是我的结果。

从图中可以看出，当TFrecord文件从文件中随机采样时，TF不会按文件大小对它们进行加权。 而是，它以相等的概率从每个不等大小的文件中随机采样，直到其中一个用完为止。 然后，它以相等的概率从其余每个文件继续。

带回家：要进行真正的随机采样，请确保您的TFrecord文件大小相等或标签均匀分布