[英]Better way to shuffle two numpy arrays in unison
我有两个不同形状的 numpy 数组,但长度相同(前导维度)。 我想对它们中的每一个进行洗牌,以使相应的元素继续对应——即相对于它们的前导索引统一洗牌。
此代码有效,并说明了我的目标:
def shuffle_in_unison(a, b):
assert len(a) == len(b)
shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
permutation = numpy.random.permutation(len(a))
for old_index, new_index in enumerate(permutation):
shuffled_a[new_index] = a[old_index]
shuffled_b[new_index] = b[old_index]
return shuffled_a, shuffled_b
例如:
>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
[1, 1],
[3, 3]]), array([2, 1, 3]))
然而,这感觉笨重、低效且缓慢,并且需要制作数组的副本——我宁愿将它们就地洗牌,因为它们会很大。
有没有更好的方法来解决这个问题? 更快的执行和更低的内存使用是我的主要目标,但优雅的代码也会很好。
我的另一个想法是:
def shuffle_in_unison_scary(a, b):
rng_state = numpy.random.get_state()
numpy.random.shuffle(a)
numpy.random.set_state(rng_state)
numpy.random.shuffle(b)
这行得通......但它有点可怕,因为我看不到它会继续工作 - 例如,它看起来不像保证在 numpy 版本中存活的那种东西。
您可以使用 NumPy 的数组索引:
def unison_shuffled_copies(a, b):
assert len(a) == len(b)
p = numpy.random.permutation(len(a))
return a[p], b[p]
这将导致创建单独的 unison-shuffled 数组。
X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)
要了解更多信息,请参阅http://scikit-learn.org/stable/modules/generated/sklearn.utils.shuffle.html
你的“可怕”解决方案对我来说并不可怕。 对两个相同长度的序列调用shuffle()
会导致对随机数生成器的调用次数相同,这些是 shuffle 算法中唯一的“随机”元素。 通过重置状态,您可以确保对随机数生成器的调用将在第二次调用shuffle()
时给出相同的结果,因此整个算法将生成相同的排列。
如果您不喜欢这样,另一种解决方案是将数据存储在一个数组中,而不是从一开始就存储在两个数组中,然后在这个单一数组中创建两个视图,模拟您现在拥有的两个数组。 您可以将单个数组用于洗牌,并将视图用于所有其他目的。
示例:假设数组a
和b
如下所示:
a = numpy.array([[[ 0., 1., 2.],
[ 3., 4., 5.]],
[[ 6., 7., 8.],
[ 9., 10., 11.]],
[[ 12., 13., 14.],
[ 15., 16., 17.]]])
b = numpy.array([[ 0., 1.],
[ 2., 3.],
[ 4., 5.]])
我们现在可以构造一个包含所有数据的数组:
c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[ 0., 1., 2., 3., 4., 5., 0., 1.],
# [ 6., 7., 8., 9., 10., 11., 2., 3.],
# [ 12., 13., 14., 15., 16., 17., 4., 5.]])
现在我们创建模拟原始a
和b
的视图:
a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)
a2
和b2
的数据与c
共享。 要同时打乱两个数组,请使用numpy.random.shuffle(c)
。
在生产代码中,您当然会尽量避免创建原始a
和b
并立即创建c
、 a2
和b2
。
该解决方案可以适用于a
和b
具有不同 dtype 的情况。
非常简单的解决方案:
randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]
两个数组 x,y 现在都以相同的方式随机打乱
詹姆斯在 2015 年写了一个有用的 sklearn解决方案。 但是他添加了一个随机状态变量,这不是必需的。 在下面的代码中,自动假定来自 numpy 的随机状态。
X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)
from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array
# Data is currently unshuffled; we should shuffle
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]
仅使用 NumPy 将任意数量的数组就地混洗在一起。
import numpy as np
def shuffle_arrays(arrays, set_seed=-1):
"""Shuffles arrays in-place, in the same order, along axis=0
Parameters:
-----------
arrays : List of NumPy arrays.
set_seed : Seed value if int >= 0, else seed is random.
"""
assert all(len(arr) == len(arrays[0]) for arr in arrays)
seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed
for arr in arrays:
rstate = np.random.RandomState(seed)
rstate.shuffle(arr)
并且可以这样使用
a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])
shuffle_arrays([a, b, c])
需要注意的几点:
洗牌后,可以使用np.split
拆分数据或使用切片引用数据 - 取决于应用程序。
你可以制作一个像这样的数组:
s = np.arange(0, len(a), 1)
然后洗牌:
np.random.shuffle(s)
现在使用 this 作为你的数组的参数。 相同的洗牌参数返回相同的洗牌向量。
x_data = x_data[s]
x_label = x_label[s]
有一个众所周知的函数可以处理这个问题:
from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)
只需将 test_size 设置为 0 即可避免拆分并为您提供打乱的数据。 虽然它通常用于拆分训练和测试数据,但它也确实对它们进行了洗牌。
从文档
将数组或矩阵拆分为随机训练和测试子集
包装输入验证和 next(ShuffleSplit().split(X, y)) 的快速实用程序,以及将输入数据输入到单个调用中的应用程序,以便在单列中拆分(以及可选的子采样)数据。
这似乎是一个非常简单的解决方案:
import numpy as np
def shuffle_in_unison(a,b):
assert len(a)==len(b)
c = np.arange(len(a))
np.random.shuffle(c)
return a[c],b[c]
a = np.asarray([[1, 1], [2, 2], [3, 3]])
b = np.asarray([11, 22, 33])
shuffle_in_unison(a,b)
Out[94]:
(array([[3, 3],
[2, 2],
[1, 1]]),
array([33, 22, 11]))
可以对连接列表进行就地改组的一种方法是使用种子(它可以是随机的)并使用 numpy.random.shuffle 进行改组。
# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
np.random.seed(seed)
np.random.shuffle(a)
np.random.seed(seed)
np.random.shuffle(b)
而已。 这将以完全相同的方式洗牌 a 和 b。 这也是就地完成的,这总是一个优点。
def shuffle(a, b, seed):
rand_state = np.random.RandomState(seed)
rand_state.shuffle(a)
rand_state.seed(seed)
rand_state.shuffle(b)
当调用它时,只需传入任何种子来提供随机状态:
a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)
输出:
>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]
编辑:修复了重新播种随机状态的代码
假设我们有两个数组:a 和 b。
a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]])
我们可以首先通过排列第一个维度来获得行索引
indices = np.random.permutation(a.shape[0])
[1 2 0]
然后使用高级索引。 在这里,我们使用相同的索引来统一打乱两个数组。
a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]
这相当于
np.take(a, indices, axis=0)
[[4 5 6]
[7 8 9]
[1 2 3]]
np.take(b, indices, axis=0)
[[6 6 6]
[4 2 0]
[9 1 1]]
如果您想避免复制数组,那么我建议您不要生成排列列表,而是遍历数组中的每个元素,并将其随机交换到数组中的另一个位置
for old_index in len(a):
new_index = numpy.random.randint(old_index+1)
a[old_index], a[new_index] = a[new_index], a[old_index]
b[old_index], b[new_index] = b[new_index], b[old_index]
这实现了 Knuth-Fisher-Yates 洗牌算法。
在我看来,最短和最简单的方法是使用种子:
random.seed(seed)
random.shuffle(x_data)
# reset the same seed to get the identical random sequence and shuffle the y
random.seed(seed)
random.shuffle(y_data)
举个例子,这就是我正在做的事情:
combo = []
for i in range(60000):
combo.append((images[i], labels[i]))
shuffle(combo)
im = []
lab = []
for c in combo:
im.append(c[0])
lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)
我扩展了 python 的 random.shuffle() 以获取第二个参数:
def shuffle_together(x, y):
assert len(x) == len(y)
for i in reversed(xrange(1, len(x))):
# pick an element in x[:i+1] with which to exchange x[i]
j = int(random.random() * (i+1))
x[i], x[j] = x[j], x[i]
y[i], y[j] = y[j], y[i]
这样我就可以确定改组发生在原地,并且函数不会太长或太复杂。
只需使用numpy
...
首先合并两个输入数组,一维数组是标签(y),二维数组是数据(x),并使用 NumPy shuffle
方法对它们进行混洗。 最后将它们分开并返回。
import numpy as np
def shuffle_2d(a, b):
rows= a.shape[0]
if b.shape != (rows,1):
b = b.reshape((rows,1))
S = np.hstack((b,a))
np.random.shuffle(S)
b, a = S[:,0], S[:,1:]
return a,b
features, samples = 2, 5
x, y = np.random.random((samples, features)), np.arange(samples)
x, y = shuffle_2d(train, test)
上述大多数解决方案都有效,但是如果您有列向量,则必须先转置它们。 这是一个例子
def shuffle(self) -> None:
"""
Shuffles X and Y
"""
x = self.X.T
y = self.Y.T
p = np.random.permutation(len(x))
self.X = x[p].T
self.Y = y[p].T
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.