基于来自第二个的NA值覆盖pandas数据帧中的值

Question

如果我有一个pandas数据帧df1定义为：

df1 = pd.DataFrame({'a': [ 1, 2], 'b': [3, 4]})

并且数据帧df2具有相同的大小，相同的列名和索引但具有NA值，在某处，两者都有

方法A ：

nan_locations = np.where(df2.isnull())
df1.values[nan_locations] = np.nan

方法B ：

df1[df2.isnull()] = np.nan

用来自df2相同位置的NA来覆盖df1中的df2 。 但是，如果我对从Excel文件中读取的数据帧执行相同操作，则方法A并不总是有效。 可以请，有人解释我为什么会这样？

Answer 1

这可能与第一个DataFrame的dtypes有关，其值需要被覆盖。 当DataFrame是混合dtypes时， values属性返回一个带有uptype dtype（ doc ）的ndarray，它似乎是一个副本。 因此，对该副本的分配将丢失。

下面是一个“简单”DataFrame的示例，其中方法A和B都有效：

df1 = pd.DataFrame({'a': [1.0, 2.0], 'b': [3.0, 4.0]})
df2 = pd.DataFrame({'a': [1.0, 2.0], 'b': [np.nan, 4.0]})

另一方面，这个看似相似的DataFrame仅适用于方法B：

df1 = pd.DataFrame({'a': [1, 2], 'b': [3.0, 4.0]})
df2 = pd.DataFrame({'a': [1, 2], 'b': [np.nan, 4.0]})

因为df1的dtypes是：

a      int64
b    float64

因此，可能是Excel文件中的数据导致具有混合dtypes的DataFrame。 使用适当的索引器来更新内容应优先于直接操作低级值表示。