[英]Is there a way to stack two tensorflow datasets?
我想在 Tensorflow 中堆叠两个数据集对象(R 中的 rbind 函数)。 我从 tfRecord 文件创建了一个数据集 A,从 numpy 数组创建了一个数据集 B。 两者都有相同的变量。 你知道是否有办法将这两个数据集堆叠起来创建一个更大的数据集? 或者创建一个从这两个来源随机读取数据的迭代器?
谢谢
所述tf.data.Dataset.concatenate()
方法是最接近的类似物tf.stack()
与数据集进行操作时。 如果您有两个结构相同的数据集(即每个组件的类型相同,但形状可能不同):
dataset_1 = tf.data.Dataset.range(10, 20)
dataset_2 = tf.data.Dataset.range(60, 70)
那么您可以按如下方式连接它们:
combined_dataset = dataset_1.concatenate(dataset_2)
如果通过堆叠你的意思是tf.stack()
和np.stack()
做什么:
将一个秩为
R
张量列表堆叠为一个秩为(R+1)
张量。
https://www.tensorflow.org/api_docs/python/tf/stack
沿新轴连接一系列数组。
https://docs.scipy.org/doc/numpy/reference/generated/numpy.stack.html
那么我相信最接近tf.data.Dataset
是Dataset.zip()
:
@staticmethod
zip(datasets)
通过将给定的数据
Dataset
压缩在一起来创建Dataset
集。
https://www.tensorflow.org/api_docs/python/tf/data/Dataset?version=stable#zip
这允许您通过迭代原始数据集的共享维度同时迭代多个数据集,类似于stack()
ed 张量或矩阵。
然后,您还可以使用.map(tf.stack)
或.map(lambda *t: tf.stack(t, axis=-1))
分别在前面或后面沿新维度堆叠张量,
如果您确实想实现tf.concat()
和np.concatenate()
作用,那么您可以使用Dataset.concatenate()
。
假设您有两个元素形状分别为 (bs,d0,d1) 和 (bs,d0',d1) 的数据集,并且您想要一个元素形状为 (bs,d0+d0',d1) 的新数据集,您可以做到使用 tf.Dataset.zip 然后连接第二个轴上的每个元素,如下例所示:
import tensorflow as tf
a = tf.zeros((100,4,8))
b = tf.ones((100,1,8))
d1 = tf.data.Dataset.from_tensor_slices(a)
d1 = d1.batch(16,drop_remainder=True) # elements shape (16,4,8)
d2 = tf.data.Dataset.from_tensor_slices(b)
d2 = d2.batch(16,drop_remainder=True) # elements shape (16,1,8)
d = tf.data.Dataset.zip((d1,d2))
d = d.map(lambda x,y:tf.concat([x,y],axis=-2)) # elements shape (16,4+1,8)
it = iter(d)
x = next(it)
print(x.shape)
print(x)
如果您想将两个具有相同元素形状 (bs,d0,d1) 的数据集堆叠到具有元素形状 (bs,d0,d1,2) 的新数据集中,您可以压缩两个数据集,然后放样元素
import tensorflow as tf
a = tf.zeros((100,4,8))
b = tf.ones((100,4,8))
d1 = tf.data.Dataset.from_tensor_slices(a)
d1 = d1.batch(16,drop_remainder=True) # elements shape (16,4,8)
d2 = tf.data.Dataset.from_tensor_slices(b)
d2 = d2.batch(16,drop_remainder=True) # elements shape (16,4,8)
d = tf.data.Dataset.zip((d1,d2))
d = d.map(lambda x,y:tf.stack([x,y],axis=-1)) # elements shape (16,4,8,2)
it = iter(d)
x = next(it)
print(x.shape)
print(x)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.