Apache Spark GitHub代码和Maven依赖项

Question

请原谅我的基本问题。 我需要使用Apache Spark最新代码中的一些类进行Spark Streaming，以便可以在我的测试类中使用它们，例如MicroBatchExecution 。

但是，可用的Maven依赖项没有几个类，例如链接中的类。

如何访问这些？

Answer 1

-火花当前的稳定版本2.2.1 -发行于2017年12月1日。

您引用的类（ MicroBatchExecution ）已在12月14日的此提交中添加，因此在当前版本中不可用。

由于该类已被合并为master类，因此可以预期它将在下一个稳定版本（ 2.3.0 ）中提供。

我不认为Spark将快照发布到公共可用的仓库中，因此您可以选择：

1. 自己构建JAR

要么

2. 等待当前的SNAPSHOT版本（ 2.3.0-SNAPSHOT ）作为正式版本发布（ 2.3.0 ）