从未知长度的序列中随机挑选 N 个不同的项目，仅在一次迭代中

Question

我正在尝试编写一种算法，该算法可以从序列中随机挑选 N 个不同的项目，而无需事先知道序列的大小，以及多次迭代序列的代价高昂的地方。 例如，序列的元素可能是一个大文件的行。

当 N=1 时，我找到了一个解决方案（即“从一个巨大的序列中随机选择一个元素”）：

import random
items = range(1, 10) # Imagine this is a huge sequence of unknown length
count = 1
selected = None
for item in items:
    if random.random() * count < 1:
        selected = item
    count += 1

但是，对于 N 的其他值（例如 N=3），我如何才能实现相同的目标？

Answer 1

如果您的序列足够短，可以将其读入内存并对其进行随机排序，那么一个简单的方法就是使用random.shuffle ：

import random
arr=[1,2,3,4]

# In-place shuffle
random.shuffle(arr)

# Take the first 2 elements of the now randomized array
print arr[0:2]
[1, 3]

根据序列的类型，您可能需要通过调用list(your_sequence)将其转换为列表，但无论序列中对象的类型如何，这都将起作用。

当然，如果您无法将序列放入内存中，或者这种方法的内存或 CPU 要求对您来说太高，您将需要使用不同的解决方案。

Answer 2

使用水库取样。 这是一个非常简单的算法，适用于任何N 。

这是一个 Python 实现， 这是另一个。

Answer 3

我发现的最简单的是 SO 中的这个答案，在下面有所改进：

import random

my_list = [1, 2, 3, 4, 5]
how_big = 2

new_list = random.sample(my_list, how_big)

# To preserve the order of the list, you could do:
randIndex = random.sample(range(len(my_list)), how_big)
randIndex.sort()
new_list = [my_list[i] for i in randIndex]

Answer 4

如果你有 3.6+ 的 python 版本，你可以使用选择

from random import choices

items = range(1, 10)
new_items = choices(items, k = 3)

print(new_items) 
[6, 3, 1]

Answer 5

@NPE 是正确的，但是链接到的实现是次优的并且不是非常“pythonic”。 这是一个更好的实现：

def sample(iterator, k):
    """
    Samples k elements from an iterable object.

    :param iterator: an object that is iterable
    :param k: the number of items to sample
    """
    # fill the reservoir to start
    result = [next(iterator) for _ in range(k)]

    n = k - 1
    for item in iterator:
        n += 1
        s = random.randint(0, n)
        if s < k:
            result[s] = item

    return result

编辑@panda-34 指出原始版本有缺陷，但不是因为我使用的是randint与randrange 。 问题是我对n初始值没有考虑到randint包含在范围两端的事实。 考虑到这一点可以解决问题。 （注意：您也可以使用randrange因为它包含最小值，不包含最大值。）

Answer 6

以下将从数组 X 中为您提供 N 个随机项目

import random
list(map(lambda _: random.choice(X), range(N)))

Answer 7

只需接受或拒绝每个新项目一次就足够了，如果接受，则丢弃随机选择的旧项目。

假设您随机选择了 K 个项目中的 N 个项目，并且您看到第 (K+1) 个项目。 以 N/(K+1) 的概率接受它，它的概率是可以的。 当前项目以 N/K 的概率进入，并以 (N/(K+1)) (1/N) = 1/(K+1) 的概率被抛出，因此以概率 (N/K) ( K/(K+1)) = N/(K+1) 所以他们的概率也是可以的。

是的，我看到有人向您指出了水库采样——这是对其工作原理的一种解释。

Answer 8

正如 aix 提到的水库采样工作。 另一种选择是为您看到的每个数字生成一个随机数并选择前 k 个数字。

要迭代地执行此操作，请维护一个由 k（随机数，数字）对组成的堆，并且每当您看到一个新数字大于堆中的最小值时，就会将其插入到该堆中。

Answer 9

这是我对一个重复问题（在我发布之前关闭）的回答，这个问题有点相关（“生成没有任何重复的随机数”）。 因为它是一种与其他答案不同的方法，我会把它留在这里，以防它提供更多的见解。

from random import randint

random_nums = []
N = # whatever number of random numbers you want
r = # lower bound of number range
R = # upper bound of number range

x = 0

while x < N:
    random_num = randint(r, R) # inclusive range
    if random_num in random_nums:
        continue
    else:
        random_nums.append(random_num)
        x += 1

在 for 循环上使用 while 循环的原因是它允许在随机生成中更容易地实现非跳过（即，如果你得到 3 个重复，你将不会得到 N-3 个数字）。

Answer 10

我找到了答案（请注意，这是一个定义，因此不会将您的代码实现为更正，而是显示其他示例）。 我的数据库与我愿意继续使用的键盘一样大，时间并不长。

import random
y = random.randint(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17)
if y == 5:
  print("Option one.")
if y == 7:
  print("Option two.")

Answer 11

numpy库中有一个实现。

假设N小于数组的长度，您必须执行以下操作：

# my_array is the array to be sampled from
assert N <= len(my_array)
indices = np.random.permutation(N)  # Generates shuffled indices from 0 to N-1
sampled_array = my_array[indices]

如果您需要对整个数组进行采样而不仅仅是前N位置，则可以使用：

import random
sampled_array = my_array[random.sample(len(my_array), N)]