使用大 csv 文件作为查找填充 DataFrame 中数据的最佳方法

Question

我有一个 DataFrame，其中有一列需要填充来自大 csv 文件的值。 加载 csv 文件并将数据左连接到 DataFrame 的最佳（可能是内存和计算效率）方法是什么？

我尝试/考虑的方法：

1. 将 csv 文件作为 DataFrame 加载并使用 Pandas 函数加入：但是，这会因将 csv 加载到内存中而失败，并出现 MemoryError。
2. 在数据库中加载 csv 文件并使用左连接查询：我还没有尝试过这个，但我希望避免出现 MemoryError。

Answer 1

可能一种方法是使用dask ，特别是 dask read_csv 。

在任何情况下，您都可以按照@jazreal 的建议考虑将其存储在 SQL 数据库中。