如何搜索包含特定数据对的数据帧子组？

Question

我有一个数据集，其中包含订单和这些订单中的项目。 我想找到的是哪些项目对一起存在于哪个组中。 例如，我想查找同时具有 6395477 和 6391546 的订单，在这种情况下，订单 20220627-0015 和 20220627-0014 有它们。

ORDER_ID     ITEM_ID
20220627-0015            6395477
20220627-0015            6391546
20220627-0015            6385826
20220627-0015            6385822
20220627-0015            6385810
20220627-0015            6385797
20220627-0015            6379808
20220627-0014            6395477
20220627-0014            6391546
20220627-0014            6386347
20220627-0014            6385814
20220627-0014            6385812
20220627-0014            6385810
20220627-0014            6384898
20220627-0013            6395592
20220627-0013            6395583
20220627-0013            6394927
20220627-0013            6386403
20220627-0013            6384293
20220627-0013            6380162
20220627-0013            6379830
20220627-0013            6379828

我使用以下代码从items列表中创建了项目对：

x= [tuple(x) for i,x in items.iteritems() for x in combinations(x,2) ]

然后我找到了包含x的第 1900 个元素的orders以及代码：

orders=df.loc[df['Item_Id'].isin(x[1900])].groupby('Order_Id', as_index=False).nunique()

order_list=orders.loc[orders['Item_Id'] == len(x[1901]), 'Order_Id'].to_list()

我得到了我想要的结果：

[91158728,91158755,91158756,'20220627-0015']

我创建了一个函数来轻松循环项目对并对其进行测试：

def ordfunc(df1,ls1,i):
    orders = df1.loc[df1['Item_Id'].isin(ls1[i])].groupby('Order_Id', as_index=False).nunique()
    order_list=orders.loc[orders['Item_Id'] == len(ls1[i]), 'Order_Id'].to_list()
    return order_list

我试图用下面的循环得到结果，但内核无法处理它

final_list = [list(ordfunc(df,x,i)) for i in range(len(x)) ]

如何创建循环遍历大约 1.7 m 项对并给出包含这些对的列表列表？

Answer 1

不测试连续订单的解决方法：

v = (6395477, 6391546)
df1 = df[df['ITEM_ID'].isin(v)]
print (df1)
        ORDER_ID  ITEM_ID
0  20220627-0015  6395477
1  20220627-0015  6391546
7  20220627-0014  6395477
8  20220627-0014  6391546

orders = df1.loc[df1['ORDER_ID'].duplicated(keep=False), 'ORDER_ID'].unique().tolist()
print (orders)
['20220627-0015', '20220627-0014']

如果需要所有对单独的DataFrame：

from  itertools import combinations

L = [(i, tuple(y)) for i, x in df.groupby('ORDER_ID')['ITEM_ID'] for y in combinations(x, 2)]

df = pd.DataFrame(L, columns=['a','b'])
print (df)
                a                   b
0   20220627-0013  (6395592, 6395583)
1   20220627-0013  (6395592, 6394927)
2   20220627-0013  (6395592, 6386403)
3   20220627-0013  (6395592, 6384293)
4   20220627-0013  (6395592, 6380162)
..            ...                 ...
65  20220627-0015  (6385822, 6385797)
66  20220627-0015  (6385822, 6379808)
67  20220627-0015  (6385810, 6385797)
68  20220627-0015  (6385810, 6379808)
69  20220627-0015  (6385797, 6379808)

[70 rows x 2 columns]

Answer 2

假设每个订单只有一件相同的商品，您可以使用：

pair = (6395477, 6391546)
orders = df[df['ITEM_ID'].isin(pair)].value_counts('ORDER_ID').loc[lambda x: x == 2].index
print(orders)

# Output
Index(['20220627-0014', '20220627-0015'], dtype='object', name='ORDER_ID')

您还可以使用df.where ：

orders = (df.where(df['ITEM_ID'].isin(pair)).groupby('ORDER_ID')['ITEM_ID']
            .nunique().loc[lambda x: x == 2].index)

Answer 3

为此，我创建了您要检查的项目的列表：

ITEM_IDS = [6395477, 6391546]

然后我使用.loc和.isin()过滤数据框，以过滤包含这两种产品之一的行：

df.loc[df['ITEM_ID'].isin(ITEM_IDS)]

        ORDER_ID  ITEM_ID
0  20220627-0015  6395477
1  20220627-0015  6391546
7  20220627-0014  6395477
8  20220627-0014  6391546

然后，您可以将其分组到ORDER_ID上，并使用nunique()来计算唯一ITEM_IDs的数量：

orders = df.loc[df['ITEM_ID'].isin(ITEM_IDS)].groupby('ORDER_ID', as_index=False).nunique()

        ORDER_ID  ITEM_ID
0  20220627-0014        2
1  20220627-0015        2

然后包含所有选中项目的ORDER_IDs是ITEM_ID == len(ITEM_IDS)的行，可以按如下方式完成，以返回ORDER_IDs列表：

orders.loc[orders['ITEM_ID'] == len(ITEM_IDS), 'ORDER_ID'].to_list()

['20220627-0014', '20220627-0015']