在 Spark-Sraming 中 DStream 到 Rdd

Question

我有一个DStream[String,String] ，我需要将它转换为RDD[String,String] 。 有什么办法吗？ 我需要使用Scala语言。

提前致谢！！

Answer 1

DStream 是离散化的 RDD 序列。 查看直接流 API。

有了你的 DStream，你可以使用 forEach 函数为每个 RDD 应用转换：

val yourStream: DStream[String] = //...

yourStream.forEachRDD{ rdd =>
   // your rdd transformations...
}

你可以看看这里的例子