根据条目从 pandas.Dataframe 中删除行

Question

给定一个pandas.DataFrame ：

    | Col_A | Col_B | Other_Columns
0   | A0    | B0    | …
1   | A1    | B1    | …
2   | A2    | B2    | …
3   | A3    | B3    | …
…   | …     | …     | …

我一直在尝试保留这个DataFrame一个子集：去掉A和B条目都是唯一的行（例如，如果在第 6 行说，值A6和B6都没有出现在DataFrame其他任何地方，我们想删除这一行）

我不想删除重复项。 另外，我不想获得唯一值（如果我理解得很好，这类似于将列表转换为集合，对吗？）而是只出现一次的值。

在这一点上，这就是我所得到的：

counts = df[['Col_A','Col_B']].stack().value_counts(ascending=True)
myList = [0] + [item for item in counts[counts.values == 1].index]
toRemove = []
for i in df.index:
    if (df.at[i,'Col_A'] and df.at[i, 'Col_B']) in myList:
        toRemove.append(i)
final_df = df[~df.index.isin(toRemove)]

这不是很有效（数据框相当大> 10M 行）一定有一个更 Pythonic 的策略，涉及到 Pandas 的内置功能，对吧？ 另外，我不太确定第一行是否正确：通过堆叠两列，我是否确保对两列的条目进行计数？

如果您需要更多信息或者我的文字对您来说不清楚，请不要犹豫。

非常感谢您抽出时间:-)

Answer 1

这样的事情怎么样：

In [75]: df = pd.DataFrame(np.random.randint(0,100,size=(10, 3)), columns=list('abc'))

In [76]: df
Out[76]:
    a   b   c
0  37  85  17
1  19   0  11
2  51  20  65
3  59  92  65
4  48  15  91
5  21  50  44
6  61  94  49
7  51   6  88
8  89  72  40
9   5  51  79

In [77]: c = df[['a','b']].stack().value_counts()

In [78]: c
Out[78]:
51    3
94    1
15    1
37    1
6     1
72    1
50    1
21    1
5     1
48    1
61    1
19    1
20    1
85    1
89    1
59    1
92    1
0     1
dtype: int64

In [79]: c[c>1]
Out[79]:
51    3
dtype: int64

In [80]: vals = c[c>1].index

In [81]: df[(df['a'].isin(vals)) | (df['b'].isin(vals))]
Out[81]:
    a   b   c
2  51  20  65
7  51   6  88
9   5  51  79

更新：

当您在if (df.at[i,'Col_A'] and df.at[i, 'Col_B']) in myList:执行if (df.at[i,'Col_A'] and df.at[i, 'Col_B']) in myList:检查您是否检查它不太正确...

这是正在发生的事情：

In [90]: df.at[0, 'a'], df.at[0, 'b']
Out[90]: (37, 85)

In [91]: (df.at[0, 'a'] and df.at[0, 'b'])
Out[91]: 85

所以你不能这样检查