如何填充 cuDF dataframe 中的列表列？

Question

我想在使用 groupby 操作收集后对每个列表实施填充操作。

概念实现是这样的：

df = cudf.DataFrame({"g": [1, 1, 1, 2, 2, 3], "a": [1, 2, 3, 1, 3, 1]})
df.groupby("g")["a"].collect().list.pad(max_length=3, pad_left=True, drop="last", padding_value=-1)

预计 output：

g
1      [1, 2, 3]
2     [-1, 1, 3]
3    [-1, -1, 1]

这该怎么做？

转换 pandas dataframe 并应用 `np.pad` 操作成功后，但似乎有点笨拙和缓慢。 有没有办法在 cuDF/cuPy 中做到这一点？

cudf.from_pandas(
    df.groupby("g")["a"]
    .collect()
    .to_pandas()
    .apply(lambda x: np.pad(x, (max(3 - len(x), 0), 0), constant_values=(-1,)))
)

c.f. .apply() function 到 cuDF 系列列表类型引发NumbaNotImplementedError 。

NumbaNotImplementedError: list

df = cudf.DataFrame({"g": [1, 1, 1, 2, 2, 3], "a": [1, 2, 3, 1, 3, 1]})
df.groupby("g")["a"].collect().apply(
    lambda x: np.pad(x, (max(3 - len(x), 0), 0), constant_values=(-1,))
)

Answer 1

这个问题在RAPIDS cuDF github 回购中得到了回答，我只是关闭循环。

Nick Becker 将此链接分享到 OP 正在使用的 NVTabular，它演示了如何使用nvtabular.ops.ListSlice的pad和pad_value参数填充列表列。