Jupyter Notebook Kernal不斷消亡-內存不足？

Question

我正在嘗試兩行不同的代碼行，它們都涉及計算df行與500k行的組合。

我認為，在大量組合中，核心一直在消亡。 反正有解決辦法嗎？

崩潰的兩行代碼都是

pd.merge(df.assign(key=0), df.assign(key=0), on='key').drop('key', axis=1)

和

index_comb = list(combinations(df.index, 2))

兩者都是實現相同期望df的不同方法，但兩者均無法實現。

將不勝感激：/

更新：我嘗試在終端中使用該代碼，這給了我一個錯誤，殺死了9：在終端中也使用了過多的內存？

Answer 1

我知道這里沒有解決方案。 Jupyter Notebook根本不旨在處理大量數據。 在終端中編譯您的代碼，應該可以。

如果使用終端時遇到相同的問題，請看這里： Python Killed：9使用從2個csv文件創建的字典運行代碼時

編輯：我最終找到了一種可能解決此問題的方法：增加容器大小應防止Jupyter內存不足。 為此，請在您的筆記本計算機$CHORUS_NOTEBOOK_HOME的主目錄中打開jupyter的settings.cfg文件。

#default memory per container

MEM_LIMIT_PER_CONTAINER=“1g”

默認值為每個容器1 gb，將其增加到2或4 gb應該有助於解決與內存相關的崩潰。 但是，我不確定這會對性能產生任何影響，因此請注意！