RDD联盟火花

Question

在这里，我正在从运动学中读取数据，并将其存储在流rdd中。

在处理该流rdd之前，我希望从kinesis中读取另一堆数据并与上一个rdd合并。

像这样我想做rdd的联合4-5次，然后我想进一步处理它。

下面是我的代码

JavaReceiverInputDStream<byte[]> stream = KinesisUtils.createStream(sc, "speng-batch-ss", "SparkStreaming",
    "https://kinesis.us-west-2.amazonaws.com", "us-west-2",
    InitialPositionInStream.TRIM_HORIZON, Durations.seconds(batchIntervalSeconds),
    StorageLevel.MEMORY_AND_DISK_2(), ak, sk);

Answer 1

听起来像是要stream.Window(duration * 4/5)