將本地python腳本連接到遠程Spark Master

Question

我正在將python 2.7與Spark獨立集群一起使用。

當我在運行python腳本的同一台機器上啟動master時。 它工作順利。

當我在遠程計算機上啟動主服務器時，嘗試在本地計算機上啟動spark上下文以訪問遠程spark主服務器。 什么也沒發生，我得到按摩，說任務沒有得到任何資源。

當我訪問主界面時。 我看到了這份工作，但沒有任何反應，就在那兒。

如何通過本地python腳本訪問遠程Spark Master？

謝謝。

編輯：我讀到為了做到這一點，我需要在群集模式（不是客戶端模式）下運行群集，並且我發現當前獨立模式不支持python應用程序 。

想法？

Answer 1

為了做到這一點，我需要以群集模式（而不是客戶端模式）運行群集，並且我在這里發現當前的獨立模式不支持python應用程序。