熊貓在讀取大文件時阻止python

Question

我正在8G內存MacBook上讀取5G文件：pd.read_csv（filepath）。

我看到內存使用率上升到12 G（橙色，然后是紅色），然后突然內存使用率下降到6G，然后緩慢回升。...而且我的腳本沒有提供任何東西，甚至沒有退出錯誤....

會發生什么？ 似乎python被完全阻止（通風機非常安靜...）

Answer 1

我相信您要加載的文件對計算機可以處理的內容沒有多大幫助。 除非您需要一次加載所有數據，否則我將嘗試根據當時的需要加載數據，例如，基於特定條件加載數據，然后根據這些特定條件運行程序。 這應該有助於兩件事。 首先，您將能夠加載數據並運行程序。 其次，您的程序將一次運行，因為它一次只處理數據的子集。