使用Java在Spark DataFrame中两列的区别

Question

我尝试了以下文章中提到的选项，但在Java中不起作用- 在spark数据框中找到两列的区别，并将其追加到新列中

在spark数据帧中减去两列为空的列

请让我知道如何使用Java中的Spark查找数据集的两列之间的差异。

Answer 1

通过使用sql方式减去两个列值来解决此问题。

sqlContext.sql("Select col1, sum(col2)-sum(col3) as resCol from temp group by col1") 

Answer 2

您可以采用另一种方式。 让我们假设，您想要具有区别的其他列：

Dataset<Row> ds = // your dataset
ds.withColumn("diff_col", new Column("col1").$minus(new Column("col2"));