运行pyspark时系统找不到路径指定错误

Question

我刚刚下载了 spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的步骤pyspark installation for windows 10 。我使用注释 bin\\pyspark 运行 spark 并收到错误消息

The system cannot find the path specified

附上报错信息截图

附件是我的 spark bin 文件夹的屏幕截图

我的路径变量的屏幕截图看起来像

我的 Windows 10 系统中有 python 3.6 和 Java "1.8.0_151" 你能建议我如何解决这个问题吗？

Answer 1

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 2

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 3

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 4

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 5

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 6

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 7

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 8

我刚刚下载了spark-2.3.0-bin-hadoop2.7.tgz。 下载后，我按照此处提到的Windows 10 pyspark安装步骤进行操作。我使用了注释bin \\ pyspark来运行spark和得到错误消息

The system cannot find the path specified

附件是错误消息的屏幕截图

附件是我的Spark Bin文件夹的屏幕截图

我的path变量的屏幕截图看起来像

我的Windows 10系统中有python 3.6和Java“ 1.8.0_151”，您能建议我如何解决此问题吗？

Answer 9

对于那些使用 Windows 并仍在尝试的人，解决我的问题是将 Python（3.9）重新安装为本地用户（ c:\\Users\\<user>\\AppData\\Local\\Programs\\Python ）并定义了两个环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON c:\\Users\\<user>\\AppData\\Local\\Programs\\Python\\python.exe

Answer 10

修复安装 Pyspark (Windows) 的问题

JAVA_HOME 路径不正确

> pyspark  
The system cannot find the path specified.

打开系统环境变量：

rundll32 sysdm.cpl,EditEnvironmentVariables

设置 JAVA_HOME：系统变量 > 新建：

Variable Name: JAVA_HOME
Variable Value: C:\Program Files\Java\jdk1.8.0_261

另外，检查 SPARK_HOME 和 HADOOP_HOME 是否设置正确，例如：

SPARK_HOME=C:\Spark\spark-3.2.0-bin-hadoop3.2
HADOOP_HOME=C:\Spark\spark-3.2.0-bin-hadoop3.2

重要提示：仔细检查以下内容

1. 路径存在
2. 路径不包含bin文件夹

Java 版本不正确

> pyspark
WARN SparkContext: Another SparkContext is being constructed 
UserWarning: Failed to initialize Spark session.
java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.storage.StorageUtils$

确保 JAVA_HOME 设置为 Java 8 (jdk1.8.0)

winutils 未安装

> pyspark
WARN Shell: Did not find winutils.exe
java.io.FileNotFoundException: Could not locate Hadoop executable

下载winutils.exe并将其复制到您的 spark home bin 文件夹中

 curl -OutFile C:\Spark\spark-3.2.0-bin-hadoop3.2\bin\winutils.exe -Uri https://github.com/steveloughran/winutils/raw/master/hadoop-3.0.0/bin/winutils.exe