如何从 memory 问题中扩展 Python 的 RAM？

Question

我正在运行用于机器学习的大型数据集，我的笔记本电脑 memory 是有限的（8GB）

和 Python 给了我这个错误

MemoryError: Unable to allocate 1.34 GiB for an array with shape (49998, 3607) and data type float64

当我运行这条线时

df_features = df_features.pivot(index='RepID', columns='Code', values='Frequency')

如何将 USB 棒用作 RAM 或如何将 HDD 用作带有 python 的 RAM？

Answer 1

如果您安装了交换分区，您的操作系统应该使用它进行交换。 请记住，交换到 HDD 非常、非常慢，甚至可能更慢到拇指驱动器。 如果您想使用硬盘作为 memory，您应该使用速度更快的 SSD。 尽管如果可能的话，最好只扩展您的 RAM。

另一种方法是减小 arrays 的大小或您正在处理的数据的分辨率。