外部合并 pandas 数据帧覆盖

Question

我有两个 DataFrames df_old和df_new具有相同的列x （=标识符或索引）和y （=数据）。

现在我想覆盖df_old中可用的df_new中的数据 + 添加df_new中不在df_old中的数据，所以基本上是x上的外部合并，覆盖y 。

I tried it with pandas.DataFrame.merge and pandas.DataFrame.update but I am not able to achieve the desired result in one line or without doing row wise computations.

例子：

x = np.array(range(0, 10))
y = np.array(range(0, 10))
df_old = pd.DataFrame(data={'x':x,'y':y})

x = np.array(range(5, 15))
y = np.array(range(0, 10))
df_new = pd.DataFrame(data={'x':x,'y':y})

x = np.array(range(0, 15))
y = np.append(np.array(range(0, 5)), np.array(range(0, 10)))
df_desired = pd.DataFrame(data={'x':x,'y':y})

编辑：解决方案的重点应该是执行时间和 memory 效率。 简单的解决方案，例如单线将很好。

Answer 1

所以我会按照你的建议使用pd.merge ，然后在可能的情况下处理数据以覆盖。

使用您的示例：

df_merged = pd.merge(df_old, df_new, on="x", how="outer")
>>> df_merged
     x  y_x  y_y
0    0  0.0  NaN
1    1  1.0  NaN
2    2  2.0  NaN
3    3  3.0  NaN
4    4  4.0  NaN
5    5  5.0  0.0
6    6  6.0  1.0
7    7  7.0  2.0
8    8  8.0  3.0
9    9  9.0  4.0
10  10  NaN  5.0
11  11  NaN  6.0
12  12  NaN  7.0
13  13  NaN  8.0
14  14  NaN  9.0

然后创建一个新的 y 列，并在适用的情况下使用您想要覆盖旧数据的数据：

df_merged["y"] = [y if pd.notna(y) else x for x,y in zip(df_merged["y_x"], df_merged["y_y"])]
>>> df_merged
     x  y_x  y_y    y
0    0  0.0  NaN  0.0
1    1  1.0  NaN  1.0
2    2  2.0  NaN  2.0
3    3  3.0  NaN  3.0
4    4  4.0  NaN  4.0
5    5  5.0  0.0  0.0
6    6  6.0  1.0  1.0
7    7  7.0  2.0  2.0
8    8  8.0  3.0  3.0
9    9  9.0  4.0  4.0
10  10  NaN  5.0  5.0
11  11  NaN  6.0  6.0
12  12  NaN  7.0  7.0
13  13  NaN  8.0  8.0
14  14  NaN  9.0  9.0

然后只是 select 正确的列：

df_merged = df_merged[["x","y"]]
>>> df_merged
     x    y
0    0  0.0
1    1  1.0
2    2  2.0
3    3  3.0
4    4  4.0
5    5  0.0
6    6  1.0
7    7  2.0
8    8  3.0
9    9  4.0
10  10  5.0
11  11  6.0
12  12  7.0
13  13  8.0
14  14  9.0

Answer 2

我找到了一个可能的有效解决方案，因为它只使用 boolean 地图，但它仍然很难看，我希望 pandas 对此类任务有更方便的解决方案：

df_desired = pd.merge(df_old, df_new, how='outer', on='x')
df_desired['y'] = df_desired.loc[df_desired['y_y'].isna(), 'y_x'].append(df_desired.loc[df_desired['y_y'].notna(), 'y_y'])
df_desired = df_desired[['x','y']]