有没有办法使用我的 GPU 的整个 memory 进行 CUML 计算？

Question

我是 RAPIDS AI 世界的新手，我决定第一次尝试 CUML 和 CUDF。 我在 WSL 2 上运行 UBUNTU 18.04。我的主要操作系统是 Windows 11。我有 64 GB RAM 和笔记本电脑 RTX 3060 6 GB Z52F9EC21735243AD2917CDA3CA077D.

在我写这篇文章时，我正在对 CUDF dataframe 运行 TSNE 拟合计算，该计算由大约 26000 个值组成，存储在 7 列中（所有值都是数字或二进制值，因为分类值已经过热编码）。 虽然像 LogisticRegression 或 SVM 这样的分类器非常快，但 TSNE 似乎需要一段时间才能得出 output 结果（现在已经一个多小时了，即使 Dataframe 不是那么大，它仍在继续）。 The task manager is telling me that 100% of GPU is being used for the calculations even if, by running "nvidia-smi" on the windows powershell, the command returns that only 1.94 GB out of a total of 6 GB are currently in use . 这对我来说似乎很奇怪，因为我阅读了有关 RAPIDS AI 的 TSNE 算法比标准 scikit-learn 快 20 倍的论文。

我想知道是否有办法增加专用 GPU memory 的百分比以执行更快的计算，或者它是否只是与 WSL 2 相关的问题（可能它限制了 Z52F9EC21735243AD9917CDA3CA077D 的使用）。

有什么建议或想法吗？ 非常感谢

Answer 1

任务管理器告诉我 GPU 的 100% 用于计算

我不确定 Windows 任务管理器是否能够告诉您 GPU 吞吐量正在用于计算。

windows powershell 上的“nvidia-smi”，该命令返回当前总共 6 GB 中只有 1.94 GB 正在使用

Memory 利用率与 GPU 吞吐量的计算方式不同。 Any GPU application will only use as much memory as is requested, and there is no correlation between higher memory usage and higher throughput, unless the application specifically mentions a way that it can achieve higher throughput by using more memory (for example, a different algorithm对于相同的计算可能会使用更多的内存）。

TSNE 似乎需要一段时间才能得出 output 结果（现在已经一个多小时了，即使 Dataframe 不是那么大，它仍然在进行）。

这绝对看起来很奇怪，而不是小数据集的预期行为。 您使用的是什么版本的 cuML，适合任务的method参数是什么？ 您是否还可以在www.github.com/rapidsai/cuml/issues上打开一个问题，以访问您的数据集以便可以重现该问题？