如何配置連接到AWS EMR spark集群的Java客戶端

Question

我正在嘗試編寫一個簡單的spark應用程序，當我在本地運行它時，它可以將master設置為

.master("local[2]")

但在AWS（EMR）上配置spark群集后，我無法連接到主URL：

.master("spark://<master url>:7077")

這是這樣做的嗎？ 我在這里錯過了什么嗎？ 群集已啟動並正在運行，當我嘗試將我的應用程序添加為步驟jar時，它將直接在其工作的群集中運行。 但我希望能夠從遠程計算機上運行它。

非常感謝這里的一些幫助，謝謝

Answer 1

要從遠程計算機運行，您需要在分配給EMR主節點的安全組中打開相應的端口。 您需要添加至少7077。

如果通過“遠程”表示不在AWS環境中的那個，則還需要設置一種從外部路由流量的方法。