Spark Scala在2个数据集之间加入RDD

Question

假设我有两个数据集，如下所示：

数据集1：

id, name, score
1, Bill, 200
2, Bew, 23
3, Amy, 44
4, Ramond, 68

数据集2：

id,message
1, i love Bill
2, i hate Bill
3, Bew go go !
4, Amy is the best
5, Ramond is the wrost
6, Bill go go
7, Bill i love ya
8, Ramond is Bad
9, Amy is great

我想加入以上两个数据集，并根据数据集1中的名称计算出现在数据集2中的个人名字的头号，结果应为：

Bill, 4
Ramond, 2 
..
..

我设法将他们两个结合在一起，但不确定如何计算每个人出现多少时间。

任何建议，将不胜感激。

编辑：我的加入代码：

val rdd = sc.textFile("dataset1")
val rdd2 = sc.textFile("dataset2")
val rddPair1 = rdd.map { x =>
  var data = x.split(",")
  new Tuple2(data(0), data(1))
}
val rddPair2 = rdd2.map { x =>
  var data = x.split(",")
  new Tuple2(data(0), data(1))
}
rddPair1.join(rddPair2).collect().foreach(f =>{
  println(f._1+" "+f._2._1+" "+f._2._2)
})

Answer 1

使用RDDs实现所需的解决方案会很复杂。 没有太多使用dataframes 。

第一步是将您拥有的两个文件读入dataframes ，如下所示

val df1 = sqlContext.read.format("com.databricks.spark.csv")
    .option("header", true)
  .load("dataset1")
val df2 = sqlContext.read.format("com.databricks.spark.csv")
  .option("header", true)
  .load("dataset1")

这样你应该有

df1
+---+------+-----+
|id |name  |score|
+---+------+-----+
|1  |Bill  |200  |
|2  |Bew   |23   |
|3  |Amy   |44   |
|4  |Ramond|68   |
+---+------+-----+

df2
+---+-------------------+
|id |message            |
+---+-------------------+
|1  |i love Bill        |
|2  |i hate Bill        |
|3  |Bew go go !        |
|4  |Amy is the best    |
|5  |Ramond is the wrost|
|6  |Bill go go         |
|7  |Bill i love ya     |
|8  |Ramond is Bad      |
|9  |Amy is great       |
+---+-------------------+

join ， groupBy和count应该给出您想要的输出为

df1.join(df2, df2("message").contains(df1("name")), "left").groupBy("name").count().as("count").show(false)

最终输出将是

+------+-----+
|name  |count|
+------+-----+
|Ramond|2    |
|Bill  |4    |
|Amy   |2    |
|Bew   |1    |
+------+-----+