在執行期間跟蹤python腳本中的內存消耗

Question

我之前獲得了大量數據（> 500 GByte），並希望使用 Python（或其他語言，如有必要）對其進行處理。 我無法一次將所有數據加載到內存中（由於明顯的原因），因此只能加載小塊。 我已經嘗試通過顯式清除每個塊之間所有生成的列表和數組來盡可能地優化內存消耗，但我仍然可以看到內存消耗穩步增加。
有沒有辦法跟蹤我在哪一點沒有釋放內存，在哪一點累積我的記憶？ 這里最好的策略是什么？

Answer 1

從python3.4開始，可以使用tracemalloc模塊。