如何使用 pycharm 在遠程 Spark 集群中運行應用程序

Question

我已經在我的本地系統上安裝了 PyCharm 並將其配置為在 windows 中以本地模式運行 spark 應用程序。

我的火花簇位於遠程 Ubuntu 盒子中。

如何從本地安裝的 PyCharm（位於 Windows 上）在遠程 spark 集群（位於 Ubuntu 上）中運行 spark 應用程序？

我的目標是在遠程集群中運行應用程序，因此也歡迎使用變通方法。

Answer 1

PyCharm 已為此設置。 理想情況下，您希望通過ssh為您的設置設置部署和遠程解釋器。

這允許您將代碼庫上傳到集群（以便pyspark驅動程序可以訪問它），但可以從您的筆記本電腦運行它。 然后，遠程解釋器負責解決集群上的依賴關系。 Have a look here https://www.jetbrains.com/help/pycharm/configuring-remote-interpreters-via-ssh.html and here https://www.jetbrains.com/help/pycharm/creating-a-remote -服務器配置.html 。

注意：在你開始配置遠程解釋器之前，最好在你的集群上安裝venv或conda並創建一個虛擬環境，這樣你就沒有任何依賴或過時的包。 然后，將遠程解釋器配置指向環境的python二進制文件，例如/app/anaconda3/envs/my_env/bin/python 。