"我可以在 pandas 中加载两个大的 csv 文件并执行 Upsert（更新\/插入）[关闭]"

Question

关闭。 这个问题需要更加 集中<\/a>。 它目前不接受答案。

---

想改进这个问题？ 更新问题，使其仅通过编辑此帖子<\/a>专注于一个问题。

22 分钟前<\/span>关闭。

改进这个问题<\/a>

我有两个 10 列的 5GB CSV 文件，我需要执行更新\/插入逻辑并通过比较两个 CSV 文件来生成最终的 CSV。

如何在 Python Pandas 中做到这一点？

前任：

如果您有任何替代解决方案来完成这项工作，请告诉我<\/strong>

Answer 1

尝试使用 isin() 方法或 merge() 方法来比较 2 个 csv 文件。

import pandas as pd
csv1 = pd.read_csv("file1.csv")
csv2 = pd.read_csv("file2.csv")

#comparing the data using isin()

result = csv1[csv1.apply(tuple,1).isin(csv2.apply(tuple,1))]
print(result)

#comparing the data using merge()

result2 = csv1.merge(csv2, indicator=True, how='outer').loc[lambda v : V['_merge'] != 'both']
print(result2)

要更新或插入 csv 文件，请查看以下链接。 更新 csv 文件中的值