计算 Apache Spark DStream 中的元素

Question

我需要使用 Java 检索 DStream 中的元素数量。 阅读文档我做了如下的事情：

JavaDStream<Object> stream;

stream.count()

它返回一个 DStream 对象而不是一个数字

如何获取 DStream 中的元素数量？ 我在测试套件中需要它

Answer 1

你不能。 DStream表示无限的 RDD 序列，因此询问元素总数并没有什么意义。

您可以添加有状态操作来跟踪值的数量并按窗口更新它，但这与要求对流进行计数不同。 您可以检查MapWithStateSuite以了解如何实现测试状态。

Answer 2

val count =topNUrl.foreachRDD { rdd => 
                      rdd.count()
}