使用 python 从网格中查找缺失的块元素

Question

我有一个包含两列数据的数据集：X 和 Y，它们是坐标。 X 和 Y 的取值范围都是 1 到 6。

但是，缺少一些坐标。 缺少的坐标是（x1 到 x2，y1 到 y2：3 到 4、2 到 5）。 我不知道这些缺失的坐标是什么，我只有现有坐标的两列 (x,y)：

X,Y
1 1
1 2
1 3
1 4
1 5
1 6
2 1
2 2
2 3
2 4
2 5
2 6
3 1
3 6
4 1
4 6
5 1
5 2
5 3
5 4
5 5
5 6
6 1
6 2
6 3
6 4
6 5
6 6

沿 x 和 y 的增量应该是规则的，并且增加 integer。给定上述数据集，我如何找到我在第一段中提到的缺失范围？ 我特别指的是范围，因为我不想转储缺失对的列表。 由于我正在执行此操作的数据集大约为 5G，因此我想要最 pythonic 的方式来执行此操作。 我目前正在通过循环和连续计数来执行此操作，但我确信有更好的方法。

预期的 output 将是一个看起来像这样的数据库：

X1 X2 Y1 Y2
3  4  2  5

实际上，可能存在多个缺失对的“块”，也可能只有 1 个缺失对。

任何帮助是极大的赞赏。

Answer 1

IIUC，您想找到缺失的组合。

您可以执行以下操作。

计算交叉表，0 表示缺少组合：

ct = pd.crosstab(df['X'], df['Y'])

# Y  1  2  3  4  5  6
# X                  
# 1  1  1  1  1  1  1
# 2  1  1  1  1  1  1
# 3  1  0  0  0  0  1
# 4  1  0  0  0  0  1
# 5  1  1  1  1  1  1
# 6  1  1  1  1  1  1

转换为 numpy 数组以获取缺失值的索引：

a = ct.eq(0).to_numpy()

import numpy as np
X,Y = np.where(a) 

# (array([2, 2, 2, 2, 3, 3, 3, 3]), array([1, 2, 3, 4, 1, 2, 3, 4]))

将 numpy 索引重新缩放为交叉表的索引并获取缺失的坐标：

coords = list(zip(ct.index[X], ct.columns[Y]))
# [(3, 2), (3, 3), (3, 4), (3, 5), (4, 2), (4, 3), (4, 4), (4, 5)]