如何从tarball单独安装Spark和Hadoop [Cloudera]

Question

我想使用tarball安装Hadoop和Spark的Cloudera发行版。 我已经在我的本地机器中以伪分布式模式设置了Hadoop并成功运行了一个Yarn示例。

我从这里下载了最新的tarball CDH 5.3.x.

但是从Cloudera下载的Spark的文件夹结构与Apache网站不同。 这可能是因为Cloudera提供了自己独立维护的版本。

因此，由于没有文档，我发现尚未分别从这个Cloudera的tarball安装Spark。 有人可以帮我理解怎么做吗？

Answer 1

Spark可以解压缩到任何目录。 您只需要运行带有所需参数的./bin/spark-submit命令（在提取的spark目录中可用）来提交作业。 要启动spark交互式shell，请使用命令./bin/spark-shell 。