Spark Java：在数据集 1 中而不是在数据集 2 中查找数据

Question

我有 2 个数据集 - ds1 有 40 列，ds2 有 10 列。 它们都有共同的 id 列。 如何使用 ds1 但不在 ds2 中的数据构建新数据集？

Answer 1

执行左外连接。 你可以做这样的事情（我假设源数据为 csv 格式）

Dataset<Row> DS1 = spark.read().option("header",true).csv("path of the File");
Dataset<Row> DS2 = spark.read().option("header",true).csv("path of the File");
ArrayList<String> joinColList = new ArrayList<String>();
joinColList.add("CommonId");
Dataset<Row> joinedData = DS1.join(DS2,scala.collection.JavaConversions.asScalaBuffer(joinColList),"leftouter");
joinedData.show();