使用RPM在CDH 5. *上安裝Spark 2嗎？

Question

我從RPM軟件包中安裝了Cloudera CDH 5.11集群（我們不想使用Cloudera Manager或包裹）。 是否有人發現/構建了CDH的Spark 2 RPM軟件包？ 看來Cloudera僅將Spark 2作為包裹運送。

Answer 1

你不會的 目前，文檔“ Spark 2已知問題”明確指出：

不支持軟件包安裝

Apache Spark 2的Cloudera發行版只能作為包裹安裝。

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#ki_package_install

Answer 2

最好的方法是在紗線上使用Spark而不是使用Spark Master / Worker。 您可以自由使用任何所需的Spark版本，而與供應商提供的產品無關。

您需要做的是打包Spark History Server，以便能夠在作業完成后查看它們。 而且，如果要使用動態分配，則需要在Yarn中配置Spark Shuffle Service。

Answer 3

看來我無法對一個問題發表評論，因此請以這篇文章為答案。

是否可以使用CM在RPM安裝的群集上安裝Spark2包裹？

Answer 4

從CDH 6.0起，Spark 2作為RPM包含在內。 問題解決了。