TfIdfVectorizer 在 GPU 上较慢（cuml 与 sklearn 实现）

Question

我在大数据上运行 TfIdfVectorizer（理想情况下，我想在我的所有数据上运行它，这是一个 30000 个文本，每个文本大约 20000 个单词）。 最初，我使用默认的sklearn.feature_extraction.text.TfidfVectorizer ，但我决定在 GPU 上运行它，以便更快。 结果恰恰相反——它真的，真的很慢！ 我正在with Tesla P100-PCIE-16GB （非常强大的 GPU）的 Kaggle 笔记本上运行代码。 您可以在此处查看两个代码：非 GPU 实现：

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
df = pd.read_csv('data.csv')
X = df.input_text.astype(str).to_numpy()
print('Transforming...')
print(len(X))
model = TfidfVectorizer(lowercase=True, max_features=1000)
model.fit_transform(X)

GPU 实现：

import pandas as pd
from cuml.feature_extraction.text import TfidfVectorizer
import cudf
import numpy as np


df = pd.read_csv('data.csv')
X = df.input_text.astype(str).to_numpy()
X = cudf.Series(X)
print(X.shape)
print('Transforming...')
model = TfidfVectorizer(lowercase=True, max_features=1000)
model.fit_transform(X)

如果您运行这两段代码，您会注意到非 GPU 实现比 GPU 实现快很多。 此外，您可以在 Kaggle 上进行测试，因为它们具有非常强大的 GPU。 我的问题是：为什么会这样？我怎样才能利用 GPU 来加快这个过程？

Answer 1

有很多可能的原因导致实现在各自的执行速度上有所不同。 最可能的两种情况如下

1. cuML 实现的 GPU 与 scikit-learn 实现的不同，而且效率更低。 这可能是由于多种原因造成的：可能是由于更“高级”的计算（与 scikit-learn 的非常原生的实现相比），这会减慢部分操作； 它也可能是一种无法在 GPU 上有效执行的转换（我对 GPU 计算不是很熟悉，但我会假设不同长度的文本在这里播放得不是很好）。

2. 第二个原因可能是由于数据的 CPU/GPU 洗牌的开销。 我在这里给出了相关的答案。 在这种情况下，我们可以观察到 GPU 计算本身相当快，但是在内存之间复制数据会导致大量开销，以至于在观察到任何性能提升之前数据需要相当大。

我的建议是检查 scikit-learn 和 cuML 实现的分析运行，并查看您的代码在哪些功能上花费的时间最多。这样，您可能会看到它是否是由于 cuML 中的特定 function 调用，还是一般 Z532F917EC21733527DA效率低下。