合并未对齐的DataFrame，同时填充空字符串

Question

我有多个要合并的DataFrame，我希望将填充值设置为空字符串而不是nan。 一些DataFrame中已经有nan值。 concat可以满足我的要求，但是用nan填充空值。 如何不使用nan来填充它们，或如何指定fill_value来实现以下目的：

>>> df1
    Value1
0       1
1     NaN
2       3

>>> df2
    Value2
1       5
2       Nan
3       7

>>> merge_multiple_without_nan([df1,df2])
    Value1    Value2
0       1     
1     NaN       5
2       3       NaN
3               7

这是concat的作用：

>>> concat([df1,df2], axis=1)
   Value1  Value2
0       1     NaN
1     NaN       5
2       3     NaN
3     NaN       7

Answer 1

使用concat ，您可以遍历合并的DataFrame，找到丢失的索引，并用空字符串填充它们。 只要您的列名是唯一的，这就可以连接任意数量的DataFrame。

# Concatenate all of the DataFrames.
merge_dfs = [df1, df2]
full_df = pd.concat(merge_dfs, axis=1)

# Find missing indices for each merged frame, fill with an empty string.
for partial_df in merge_dfs:
    missing_idx = full_df.index.difference(partial_df.index)
    full_df.loc[missing_idx, partial_df.columns] = ''

使用您的样本数据得到的输出：

  Value1 Value2
0      1       
1    NaN      5
2      3    NaN
3             7

Answer 2

好吧，我在concat或merge中找不到任何可以自行处理的函数，但是下面的代码却没有太多麻烦：

df1 = pd.DataFrame({'Value2': [1,np.nan,3]}, index = [0,1, 2])
df2 = pd.DataFrame({'Value2': [5,np.nan,7]}, index = [1, 2, 3])
# Add temporary Nan values for the data frames.
df = pd.concat([df1.fillna('X'), df2.fillna('Y')], axis=1)
df=
  Value2 Value2
0      1    NaN
1      X      5
2      3      Y
3    NaN      7

第2步：

df.fillna('', inplace=True)
df=
  Value2 Value2
0      1
1      X      5
2      3      Y
3             7  

第三步：

df.replace(to_replace=['X','Y'], value=np.nan, inplace=True)
df=
  Value2 Value2
0      1
1    NaN      5
2      3    NaN
3             7