无法从tf.data.Dataset.from_generator读取数据

Question

我希望使用tf.data.Dataset.from_generator来帮助我生成输入数据流。

dataset = tf.data.Dataset.from_generator(sample_generator,
                                         output_types=(tf.float32, tf.float32, tf.float32), 
                                         output_shapes=(tf.TensorShape([size_image, size_image, 3]),tf.TensorShape([size_image,size_image,3]), tf.TensorShape([size_gt, size_gt])))

sample_generator函数可以生成具有建议形状的三个numpy数组。

上面提到的部分没有问题。 但是，tf.data.Dataset.from_generator只能生成数据流，我需要将生成的数据馈送到网络。

代码如下：

dataset = dataset.map(transform_fn, num_parallel_calls=self.config['prefetch_threads']) # transform_fn just returns the input

dataset = dataset.prefetch(self.config['prefetch_capacity'])
dataset = dataset.repeat()
dataset = dataset.batch(self.config['batch_size'])

并且迭代器是

self.iterator = self.dataset_tf.make_one_shot_iterator()

self.iterator.get_next()

谢谢！

Answer 1

问题已解决。 将from_generator更改为生成元数据，例如，所需文件的名称/路径。

然后，使用tf.Py_func以普通/ numpy方式预处理数据。 我只想说：“ tf.Pyfunc非常方便！” 谢谢！