scala 急流使用不透明 UDF 用于单列 dataframe 产生另一列

Question

我正在尝试使用带有 Scala 的 Spark (3.3) 来熟悉基于RAPIDS Accelerator的计算。 能够使用 GPU 的主要争论似乎源于 UDF 的黑盒特性。 自动解决方案是Scala UDF 编译器。 但它不适用于存在循环的情况。

1. 怀疑：如果我的 dataframe 只有一列并产生另一列，我能否获得 GPU 贡献，因为这是一个微不足道的案例。 如果是这样，至少在某些情况下，即使 Spark 代码没有变化，也可以获得 GPU 性能优势，即使数据大小远高于 GPU ZCD69B4957F06CD818D7BF3D61980E291 这会很棒，因为有时很容易将所有列合并为一个使用concat_ws的WrappedArray的单列，UDF 可以简单地将其转换为Array 。 出于 GPU 的所有实际目的，数据已经是列式的，只需完成行（在 CPU 上）到列（在 GPU 上）的可忽略不计的开销。我所指的情况如下所示：

val newDf = df.withColumn(colB, opaqueUdf(col("colA")))

2. 资源：我试图找到好的资源/示例来学习使用 RAPIDS 的基于 Spark 的方法，但在我看来，只给出了基于 Python 的示例。 是否有任何资源/教程在 Spark UDF 的覆盖中提供了一些示例示例，以使它们与 RAPIDS 兼容。

Answer 1

是的@Quiescent，你是对的。 Scala UDF -> Catalyst 编译器可用于直接转换为 Catalyst 的简单 UDF。 支持的操作可以在这里找到： https://nvidia.github.io/spark-rapids/docs/additional-functionality/udf-to-catalyst-expressions.ZFC35FDC70D5FC69D2362Z88 这种自动翻译绝对不支持循环，因为我们没有可以将其翻译成的直接表达式。

1. 这完全取决于opaqueUdf的重量以及列中有多少行。 GPU 如果有很多行并且 UDF 中的操作成本很高（比如说它在该列上连续执行许多算术或字符串操作），那么 GPU 将会非常好。 我不确定您为什么要“将所有列合并为一个”，那么您能澄清一下为什么要这样做吗？ 在转换为Array时，这是 UDF 的目的，还是您想要take in N columns -> perform some operation likely involving loops produce an Array ？

2. 使用 GPU 加速 UDF 的另一种方法是使用我们的RAPIDS Accelerated UDF 。 这些是您有意实现的 java 或 scala UDF，它们直接使用cuDF API。 Accelerated UDF 文档还链接到我们的spark-rapids-examples存储库，其中包含有关如何以这种方式编写 Java 或 Scala UDF 的信息，请也查看那里。