合并/更新 Python 或 Pandas 中的数据集

Question

我刚刚开始学习 python 以帮助我在工作中更有效地处理数据文件，而不是仅仅使用 excel。我经常遇到的一个问题是我经常需要从我们的数据库下载 csv 文件并开始清理、编码和格式化数据。 但是，数据库中经常会丢失数据或更新数据，因此我需要更新我已经在 excel 开始清理的数据。我通常必须将新数据复制并粘贴到我的 excel 文件中，正如您所猜到的效率不是很高。 使用 python 或 pandas 使用新数据更新我的原始数据是否有更省时的方法？ 谢谢您的帮助！

Answer 1

如果您使用的是 pandas，您可以做的是使用新数据创建一个新的 pandas.DataFrame，以与先前数据相同的方式处理它，然后使用pandas.concat()将它们合并，将它们合并到另一个下方或pandas.merge()如果您想按特定列加入它们以更新以前存在的行。

pandas.concat 文档。 例子：

pd.concat([df1, df2])

pandas.合并文档。 例子：

df1.merge(df2, how='outer', on='<identifier>')