Apache Spark GitHub代碼和Maven依賴項

Question

請原諒我的基本問題。 我需要使用Apache Spark最新代碼中的一些類進行Spark Streaming，以便可以在我的測試類中使用它們，例如MicroBatchExecution 。

但是，可用的Maven依賴項沒有幾個類，例如鏈接中的類。

如何訪問這些？

Answer 1

-火花當前的穩定版本2.2.1 -發行於2017年12月1日。

您引用的類（ MicroBatchExecution ）已在12月14日的此提交中添加，因此在當前版本中不可用。

由於該類已被合並為master類，因此可以預期它將在下一個穩定版本（ 2.3.0 ）中提供。

我不認為Spark將快照發布到公共可用的倉庫中，因此您可以選擇：

1. 自己構建JAR

要么

2. 等待當前的SNAPSHOT版本（ 2.3.0-SNAPSHOT ）作為正式版本發布（ 2.3.0 ）