使用大 csv 文件作為查找填充 DataFrame 中數據的最佳方法

Question

我有一個 DataFrame，其中有一列需要填充來自大 csv 文件的值。 加載 csv 文件並將數據左連接到 DataFrame 的最佳（可能是內存和計算效率）方法是什么？

我嘗試/考慮的方法：

1. 將 csv 文件作為 DataFrame 加載並使用 Pandas 函數加入：但是，這會因將 csv 加載到內存中而失敗，並出現 MemoryError。
2. 在數據庫中加載 csv 文件並使用左連接查詢：我還沒有嘗試過這個，但我希望避免出現 MemoryError。

Answer 1

可能一種方法是使用dask ，特別是 dask read_csv 。

在任何情況下，您都可以按照@jazreal 的建議考慮將其存儲在 SQL 數據庫中。