從pyspark shell運行腳本

Question

我可以通過以下命令從UNIX命令行運行python + pyspark腳本：

pyspark script.py

但是，如何在pyspark shell中運行script.py？ 這似乎是一個基本問題，但我找不到任何答案。 我試過了

execfile('script.py')

但是我收到一個錯誤，其中包括：

ValueError: Cannot run multiple SparkContexts at once

Answer 1

錯誤可能來自script.py嘗試創建新的SparkContext變量嗎？

當啟動pyspark交互式客戶端時，通常會說： SparkContext available as sc, HiveContext available as sqlContext.

如果您的腳本文件包含sc = SparkContext() ，請嘗試對其進行注釋。