熊猫根据几列减去数据框中的行

Question

我有以下数据框

data = [
 {'col1': 11, 'col2': 111, 'col3': 1111},
 {'col1': 22, 'col2': 222, 'col3': 2222},
 {'col1': 33, 'col2': 333, 'col3': 3333},
 {'col1': 44, 'col2': 444, 'col3': 4444}
]

以及以下列表：

lst = [(11, 111), (22, 222), (99, 999)]

我想从我的数据中仅删除 lst 中不存在 col1 和 col2 的行

上面例子的结果是：

[
 {'col1': 33, 'col2': 333, 'col3': 3333},
 {'col1': 44, 'col2': 444, 'col3': 4444}
]

我怎样才能做到这一点？

import pandas as pd

df = pd.DataFrame(data)

list_df = pd.DataFrame(lst)

# command like ??
# df.subtract(list_df) 

Answer 1

您可以使用zip和 slice 使用由isna生成的掩码提取值列表：

a,b = zip(*lst)
data[~(data['col1'].isin(a)|data['col2'].isin(b))]

输出：

   col1  col2  col3
2    33   333  3333
3    44   444  4444

或者，如果您需要两个条件都成立才能删除：

data[~(data['col1'].isin(a)&data['col2'].isin(b))]

注意。 如果你有很多列，你可以自动化这个过程：

mask = sum(data[col].isin(v) for col,v in zip(data, zip(*lst))).eq(0)
df[mask]

Answer 2

如果对需要测试可能比较MultiIndex创建由两列Index.isin与反转屏蔽由~在boolean indexing ：

df = df[~df.set_index(['col1','col2']).index.isin(lst)]
print (df)
   col1  col2  col3
2    33   333  3333
3    44   444  4444

或者通过与指标参数merge左连接：

m = df.merge(list_df, 
             left_on=['col1','col2'],
             right_on=[0,1], 
             indicator=True, 
             how='left')['_merge'].eq('left_only')
df = df[mask]
print (df)
   col1  col2  col3
2    33   333  3333
3    44   444  4444

Answer 3

您可以从 col1 和 col2 列中创建一个元组，然后检查这些元组是否在 lst 列表中。 然后用 True 值丢弃罚款。

df.drop(df.apply(lambda x: (x['col1'], x['col2']), axis =1)
          .isin(lst)
          .loc[lambda x: x==True]
          .index)

使用此解决方案，您甚至不必将第二个列表设为数据框

Answer 4

您可以通过.apply()和tuple创建col1和col2的tuple 。 然后通过.isin()测试这些元组是否在lst （添加~表示否定/相反条件）。

最后，使用.loc定位行，如下所示：

df.loc[~df[['col1', 'col2']].apply(tuple, axis=1).isin(lst)]

结果：

   col1  col2  col3
2    33   333  3333
3    44   444  4444