Windows的Spark EC2支持

Question

有關在Amazon EC2上部署Spark集群的所有文檔均與Linux環境有關。 但是，目前，我的分布式項目依賴於某些Windows功能，我想在進行必要的更改的同時開始使用Windows群集。

我想知道是否有任何方法可以使我們能夠以與Spark提供的spark-ec2腳本相對類似的方式在EC2上部署Windows Spark集群。

Answer 1

spark-ec2當前僅支持使用特定的Linux AMI在EC2中啟動群集，因此，當前無法使用該工具部署Windows Spark群集。 我懷疑spark-ec2是否會具有該功能，因為它使用的所有安裝腳本均假定為Linux主機。

也就是說，Databricks最近宣布了一個社區管理的Spark包索引 ，人們一直在那里添加東西。 例如，已經有一個程序包可以讓您在Google的Compute Engine上啟動Spark集群 。

盡管目前似乎沒有什么適合您，但我會繼續關注該社區索引，以獲取可在EC2上啟動Windows Spark群集的功能。

Answer 2

在Nick建議的帶有Spark Packages的資源中，您可以看到Sigmoid Analytics最近添加的項目-該項目可讓您在Azure上啟動Spark群集spark_azure ：

https://github.com/sigmoidanalytics/spark_azure