'SparkSession'对象没有属性'sparkContext'

Question

我有Spark 2.0.0，并且试图从Spark源代码运行一些Python示例。

这就是例子 。 我的跑步方式是：

spark-submit pi.py 2

但是我一直收到以下错误：

Traceback (most recent call last):
  File "/home/docker-user/src/hellospark/src/main/python/pi.py", line 21, in <module>
    count = ss.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
AttributeError: 'SparkSession' object has no attribute 'sparkContext'

我还用其他示例进行了测试，例如wordcount.py，sort.py和sql.py，它们都按预期工作。 有人遇到过这个问题吗？ 任何评论将超级有帮助。

提前致谢！！

Answer 1

如@stpk所述，您可能正在运行较旧的spark版本。 例如，Spark 1.5.1没有pyspark.sql.SparkSession （请查看api文档 ，但更高版本具有doc 。或使用较早的测试文件。