在Spark中将列追加到行

Question

我有一个DataFrame ，我想通过一个新列进行扩展。 在此说明从Row新建一个DateFrame的方法。

我目前的策略是构建新Row从该RowFactory小号Row被传递到我的地图通过调用小号DataFrame.javaRDD().map(...)但我担心这可能会产生不必要的费用。

所以我想知道是否可以通过添加新字段来扩展现有Row而不是创建新Row 。 Row接口似乎不允许这样做。

行代码

Answer 1

作为@Sachin贾纳尼在评论中提到，你不能修改行（它是不可变的），但你可以附加一个列到DataFrame使用withColumn -function。 例如，下面的代码将添加一列，其长度为在“文本”列中找到的字符串的长度：

val stringLength = udf[Int, String](s => s.length)
val df2 = df1.withColumn("text_length", stringLength(df1("text")))

希望这可以帮助。