Spark Python 错误“FileNotFoundError: [WinError 2] 系统找不到指定的文件”

Question

我是 Spark 和 Python 的新手。我已经在 windows 上安装了 python 3.5.1 和 Spark-1.6.0-bin-hadoop2.4。

当我从 python shell 执行 sc = SparkContext("local", "Simple App") 时出现以下错误。

你能帮忙吗？

从 pyspark 导入 SparkConf、SparkContext

sc = SparkContext("local", "Simple App")

追溯（最近一次通话）：

文件“”，第 1 行，位于

sc = SparkContext("local", "Simple App")

文件“C:\spark-1.6.0-bin-hadoop2.4\python\pyspark\context.py”，第 112 行，在init中

SparkContext._ensure_initialized(self, gateway=gateway)

文件“C:\spark-1.6.0-bin-hadoop2.4\python\pyspark\context.py”，第 245 行，在 _ensure_initialized

SparkContext._gateway = gateway or launch_gateway()

文件“C:\spark-1.6.0-bin-hadoop2.4\python\pyspark\java_gateway.py”，第 79 行，在 launch_gateway

proc = Popen(command, stdin=PIPE, env=env)

文件“C:\Python35-32\lib\subprocess.py”，第 950 行，在init restore_signals，start_new_session 中）

文件“C:\Python35-32\lib\subprocess.py”，第 1220 行，在 _execute_child 启动信息中）

FileNotFoundError: [WinError 2] 系统找不到指定的文件

Answer 1

您必须正确设置 SPARK_HOME。 我已经调试了 python 脚本并进行了验证。 这会奏效。

Answer 2

检查您的地址以确保其书写正确。 就我而言，我的地址为：

“C:/Users/nekooeimehr/AppData/Local/Programs/Python/Python35-32/spark-1.6.2-bin-hadoop2.4”

而正确的地址是：

“C:/Users/nekooeimehr/AppData/Local/Programs/Python/Python35-32/spark-1.6.2-bin-hadoop2.4/spark-1.6.2-bin-hadoop2.4”

Answer 3

重启并以管理员身份运行 pySpark

Answer 4

如果验证了系统环境变量仍然无法正常工作，请检查您的 jvm（64 或 32）位版本是否与您的机器兼容。