如何在Pyspark中運行腳本並在完成后放入IPython shell？

Question

我想運行一個spark腳本並放入一個IPython shell來交互式地檢查數據。

同時運行：

$ IPYTHON=1 pyspark --master local[2] myscript.py

和

$ IPYTHON=1 spark-submit --master local[2] myscript.py

一旦完成，退出IPython。

這看起來很簡單，但找不到如何在任何地方做到這一點。

Answer 1

如果您使用以下命令啟動iPython shell：

$ IPYTHON=1 pyspark --master local[2]

你可以做：

 >>> %run myscript.py

並且所有變量都將保留在工作區中。 您還可以逐步調試：

>>> %run -d myscript.py

Answer 2

使用IPYTHON=1 pyspark啟動IPython shell，然后運行execfile('/path/to/myscript.py') ，它應該在shell中運行你的腳本並返回它。