有條件地加入並映射2個RDD

Question

我有2個需要加入的RDD

val rdd1 = RDD[(v_id, inputObject1)]

其中v_id是唯一ID

和inputObject1有以下字段

g_id, p_id, timestamp=t1

現在我有另一個RDD

val rdd2 = RDD[(g_id, inputObject2)]

其中inputObject2具有以下字段

p_id, timestamp=t2, e_id

現在我想在以下條件下加入這兩個RDD

• 如果g_id和p_id相同且| t1-t2 | <30分鍾
• 否則，如果g_id相同且| t1 - t2 | <30分鍾

因此，如果不滿足第一個條件，則第二個條件是回退。 我的最終輸出應該是這個

val resuldRDD = RDD[(v_id, inputObject11)]

其中inputObject11 = inputObject1 +如果滿足條件，則從第二個RDD添加e_id。

所以領域將是

g_id, p_id, e_id, timestamp=t1

Answer 1

這是不可能的：在join操作是通過關鍵

https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions