从pyspark shell运行脚本

Question

我可以通过以下命令从UNIX命令行运行python + pyspark脚本：

pyspark script.py

但是，如何在pyspark shell中运行script.py？ 这似乎是一个基本问题，但我找不到任何答案。 我试过了

execfile('script.py')

但是我收到一个错误，其中包括：

ValueError: Cannot run multiple SparkContexts at once

Answer 1

错误可能来自script.py尝试创建新的SparkContext变量吗？

当启动pyspark交互式客户端时，通常会说： SparkContext available as sc, HiveContext available as sqlContext.

如果您的脚本文件包含sc = SparkContext() ，请尝试对其进行注释。