GPU 与 CPU memory 在 RAPIDS 中的使用情况

Question

我知道 GPU 和 CPU 有自己的 RAM，但我不明白的是，为什么相同的 dataframe 在加载到 pandas 和 RAPIDS cuDF 时，memory 的用法却截然不同。 有人可以解释吗？

Answer 1

如 Josh Friedlander 的评论中所述，在 cuDF 中，object 数据类型明确用于字符串。 在 pandas 中，这是字符串的数据类型以及任意/混合数据类型（例如列表、字典、arrays 等）。 这可以解释这种 memory 在许多情况下的行为，但如果两列都是字符串，则无法解释。

假设两列都是字符串，仍然可能存在差异。 In cuDF, string columns are represented as a single allocation of memory with an associated allocation for a null mask to handle missing values, consistent with the Apache Arrow memory specification. 因此，很可能这些列中表示的任何内容在 cuDF 中的此数据结构中都比 Pandas 中的默认字符串数据结构更有效（基本上一直都是如此）。

以下示例可能会有所帮助：

import cudf
import pandas as pd

Xc = cudf.datasets.randomdata(nrows=1000, dtypes={"id": int, "x": int, "y": int})
Xp = Xc.to_pandas()

print(Xp.astype("object").memory_usage(deep=True), "\n")
print(Xc.astype("object").memory_usage(deep=True), "\n")
print(Xp.astype("string[pyarrow]").memory_usage(deep=True))
Index      128
id       36000
x        36000
y        36000
dtype: int64 

id       7487
x        7502
y        7513
Index       0
dtype: int64 

Index     128
id       7483
x        7498
y        7509
dtype: int64

在 pandas 中使用箭头规范字符串 dtype 可以节省相当多的 memory 并且通常匹配 cuDF。

Answer 2

在我看来。 cuDF 的工作原理。

I/p 数据将从 CPU 传递到 GPU。 GPU 将对数据进行一些操作，输出将传回 CPU。 所以，部分Buffer数据，Temp表数据会存储在CPU内部。

这也意味着 GPU 所需的任何数据将被传递给 GPU rest 将保存在 CPU 缓冲区中。 另一方面，如果我们只使用 CPU(df)。 所有，数据需要由CPU单独处理。 因此需要更多的 memory。 这是我的假设。 也有很多答案。 就像曾经检查 df 和 cuDF 中的数据处理方式一样

参考

df - CPU - 使用传统 memory 方法 cuDF - GPU- 使用箭头方法将数据保存在单元格中。

在读取/处理 csv 文件 uisng pandas pd.read.csv()时，它首先将所有这些创建为批次，然后将它们转换为单个表并按批次处理，此外df CPU 使用MultiProcessing来处理更大的数据，导致使用比 cuDF 更大的 memory。