Pyspark 中 SparkSession 的导入错误

Question

我安装了 Spark 2.0 版。 我在 Python 2.7 上使用 Pyspark。 创建 SparkContext 似乎没有任何困难，但由于某种原因，我无法导入 SparkSession。 有谁知道我做错了什么？

import pyspark
import pyspark.sql
from pyspark.sql import SparkSession
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
 ImportError: cannot import name SparkSession

Answer 1

奇怪的是，这在不同的目录中工作得很好。 从这个路径运行文件没有导致错误！

/用户/.../spark-2.1.0-bin-hadoop2.7/python/

Answer 2

SparkSession 是在 Apache Spark 2 中引入的。要使用它，您应该在运行 pyspark 之前指定正确的 spark 版本：

export SPARK_MAJOR_VERSION=2

Answer 3

导出您安装的正确 spark 版本的 spark，它适用于我的 2.3 版

导出 SPARK_VERSION=2.3