使用Java在Spark DataFrame中兩列的區別

Question

我嘗試了以下文章中提到的選項，但在Java中不起作用- 在spark數據框中找到兩列的區別，並將其追加到新列中

在spark數據幀中減去兩列為空的列

請讓我知道如何使用Java中的Spark查找數據集的兩列之間的差異。

Answer 1

通過使用sql方式減去兩個列值來解決此問題。

sqlContext.sql("Select col1, sum(col2)-sum(col3) as resCol from temp group by col1") 

Answer 2

您可以采用另一種方式。 讓我們假設，您想要具有區別的其他列：

Dataset<Row> ds = // your dataset
ds.withColumn("diff_col", new Column("col1").$minus(new Column("col2"));