根据条件在熊猫数据框中删除一行

Question

场景：我有一个数据框，周围散布着一些nan。 它有多个列，感兴趣的是“出价”和“询问”

我想做什么：我想删除所有出价列值为nan而要价列为nan的行。

问题：最佳方法是什么？

我已经尝试过的

ab_df = ab_df[ab_df.bid != 'nan' and ab_df.ask != 'nan']

ab_df = ab_df[ab_df.bid.empty and ab_df.ask.empty] 

ab_df = ab_df[ab_df.bid.notnull and ab_df.ask.notnull]

但是它们都不起作用。

Answer 1

您需要向量化逻辑运算符&或| （ 和和或蟒蛇是比较标量不是熊猫系列），以检查NaN值，你可以使用isnull和notnull ：

要删除出价列值为nan而要价列值为nan的所有行，请保持相反：

ab_df[ab_df.bid.notnull() | ab_df.ask.notnull()]

范例 ：

df = pd.DataFrame({
        "bid": [pd.np.nan, 1, 2, pd.np.nan],
        "ask": [pd.np.nan, pd.np.nan, 2, 1]
    })

df[df.bid.notnull() | df.ask.notnull()]

#   ask bid
#1  NaN 1.0
#2  2.0 2.0
#3  1.0 NaN

如果您需要两个列都不能缺少：

df[df.bid.notnull() & df.ask.notnull()]

#   ask bid
#2  2.0 2.0

---

通过设置thresh参数使用dropna的另一种选择：

df.dropna(subset=['ask', 'bid'], thresh=1)

#   ask bid
#1  NaN 1.0
#2  2.0 2.0
#3  1.0 NaN

df.dropna(subset=['ask', 'bid'], thresh=2)

#   ask bid
#2  2.0 2.0

Answer 2

ab_df = ab_df.loc[~ab_df.bid.isnull() | ~ab_df.ask.isnull()]

一直以来，我一直很谦虚，因为我说服自己.notnull()不存在。 瓷砖。

ab_df = ab_df.loc[ab_df.bid.notnull() | ab_df.ask.notnull()]

关键是&而不是and和| 而不是or

我之前使用&犯了一个错误-这是错误的，因为您希望出价不为null或ask不为null，请使用并且只给您同时都不为null的行。

我认为您也可以使用ab_df.dropna() ，但我必须ab_df.dropna()一下

编辑

奇怪的是df.dropna()似乎不支持基于特定列中的NA的删除。 我会以为的。

根据另一个答案，我现在看到了。 今天是星期五下午，好吗？