为什么该代码片段无法在 Google Colab 上运行？

Question

我使用提供 35 GB RAM 的 TPU。 在我尝试运行此代码片段之前，我有 20 GB 的可用内存。 但是由于内存不足（它说需要超过 35 GB），我无法运行该代码片段，我使用了 6 GB 的数据集。 为什么这段代码占了这么多地方？ 我使用垃圾收集器并删除了我之前使用的数据帧。 我该怎么做才能使该代码正常工作？

Gen RAM 免费：26.4 GB | 进程大小：156.4 MB GPU RAM 免费：16280MB | 已用：0MB | 利用率 0% | 总计 16280MB

seed = 7
test_size = 0.4
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)
gc.collect()
model=KNeighborsClassifier(n_neighbors=6,algorithm='kd_tree',n_jobs=25)
model.fit(X_train, y_train)

Answer 1

Python 中的数据科学工作流往往非常需要内存。 比如你输入的数据X, Y消耗了6GB，那么行

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)

将消耗另外 6 GB（每个创建的子集不是原始数组的视图，而是具有新内存占用的新数组对象）。

在KNeighborsClassifier内部可以制作其他数据副本（例如，该算法中的代码要求输入数组是连续的 C 顺序 float64 数组，如果您的数据不符合该标准，将制作一个副本）。

一般来说，基于 numpy 的数据科学工作流的一个很好的经验法则是，您需要的内存大约是您正在处理的原始数据大小的 4-5 倍，除非您非常小心地防止数据复制.