如何将小数据框合并成大数据框而不复制

Question

我有一个大的 pandas dataframe，并希望将几个较小的数据帧合并到其中，从而添加更多列。 但是，似乎每次合并后都隐含了大型 dataframe 的副本，我想避免这种情况。 最有效的方法是什么？ （请注意，生成的 dataframe 将具有相同的行，因为它随着列的增加而增长。） map似乎更好，因为它保留了原始的 dataframe，但是创建字典有开销。 也不确定它是否适用于将多个 col 合并到主 col 中。 或者也许merge可能不会在内部深度复制所有内容？

基本情况：

id(df)  # before merge

df = df.merge(df1[["sid", "col1"]], how="left", on=["sid"])
id(df)  # will be different  <-- trying to avoid copying df every time a smaller one merged into it

df = df.merge(df2[["sid", "col2"]], how="left", on=["sid", "key2"])
id(df)  # will be different   
...

使用地图（）：

d_col1 = {d["sid"]:d["col1"] for d in df1[["sid", "col1"]].to_dict("records")}
df["col1"] = df["sid"].map(d_col1)
id(df) # this is the same object

一些帖子提到了dask，还没有测试过。

Answer 1

这是另一种方式。 首先map可以使用系列完成，并且由于 df1 已经构建，我不知道它是否比使用字典效率低。

df["col1"] = df["sid"].map(df1.set_index('sid')['col1']) 

现在有两列或更多列，您可以使用索引

df['col2'] = (
    df2.set_index(['sid','key2'])['col2']
       .reindex(pd.MultiIndex.from_frame(df[['sid','key2']]))
       .to_numpy()
)