spark-submit 期間 pyspark 的 Windows Spark_Home 錯誤

Question

在簡單的 python 腳本上運行 spark-submit 以導入 sparksession 時，我收到以下錯誤。 我將Spark_Home用戶變量設置為 'C:\\Spark\\spark-3.1.2-bin-hadoop3.2'; 用戶變量中的 ENV 路徑設置為 C:\\Spark\\spark-3.1.2-bin-hadoop3.2\\bin； HADOOP_HOME路徑設置為 WINUTILS 文件夾。

在這里做了一切： https : //phoenixnap.com/kb/install-spark-on-windows-10

完整代碼如下。

恭敬地，我試圖解決PATH 問題：在搜索時找不到有效的 SPARK_HOME這不起作用，我在 Windows 上。 這是工作相關的，我是 stackoverflow 和 Spark 的新手。 謝謝！！

C:\Spark\spark-3.1.2-bin-hadoop3.2\bin>spark-submit C:\Spark\PYScripts\New.py
21/06/21 16:44:22 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Traceback (most recent call last):
  File "C:/Spark/PYScripts/New.py", line 2, in <module>
    from pyspark.sql import SparkSession
  File "C:\Spark\spark-3.1.2-bin-hadoop3.2\python\lib\pyspark.zip\pyspark\__init__.py", line 53, in <module>
  File "C:\Spark\spark-3.1.2-bin-hadoop3.2\python\lib\pyspark.zip\pyspark\rdd.py", line 34, in <module>
  File "C:\Spark\spark-3.1.2-bin-hadoop3.2\python\lib\pyspark.zip\pyspark\java_gateway.py", line 31, in <module>
  File "C:\Spark\spark-3.1.2-bin-hadoop3.2\python\lib\pyspark.zip\pyspark\find_spark_home.py", line 68
    print("Could not find valid SPARK_HOME while searching {0}".format(paths), file=sys.stderr)
                                                                                   ^
SyntaxError: invalid syntax
log4j:WARN No appenders could be found for logger (org.apache.spark.util.ShutdownHookManager).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

Answer 1

嘗試使用findspark 。

import findspark
findspark.find()

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("local") \
    .appName("Spark") \
    .getOrCreate()