Spark Streaming如何保證多個foreachRDD的順序

Question

我想對DStream執行一系列操作。 動作N + 1必須在動作N之后執行。這些實現之間有什么區別？

val myDStream = ???

//version 1
myDStream.foreachRDD(rdd => action 1)
myDStream.foreachRDD(rdd => action 2)
myDStream.foreachRDD(rdd => action 3)

//version 2
myDStream.foreachRDD{rdd => 
  action 1
  action 2
  action 3
}

Answer 1

如果我們假設每個action在完整的RDD上進行操作，例如action(rdd) ，則這兩個表達式應按結果順序等效。

在執行級別，最高版本將生成三個Spark作業，而最低版本將僅生成一個。