M1 尝试运行 SparkSession，但出现 RuntimeError：Java 网关进程在发送其端口号之前退出

Question

我正在尝试在我的 M1 Mac Monterey 12.6.2 中运行一个简单的命令spark = SparkSession.builder.appName("Basics").getOrCreate() ，但它会抛出一个错误：

The operation couldn’t be completed. Unable to locate a Java Runtime.
Please visit http://www.java.com for information on installing Java.

/Users/user/miniforge3/envs/bigdata/lib/python3.9/site-packages/pyspark/bin/spark-class: line 96: CMD: bad array subscript
head: illegal line count -- -1
Output exceeds the size limit. Open the full output data in a text editor
---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
Cell In[2], line 2
      1 # May take a little while on a local computer
----> 2 spark = SparkSession.builder.appName("Basics").getOrCreate()

File ~/miniforge3/envs/bigdata/lib/python3.9/site-packages/pyspark/sql/session.py:269, in SparkSession.Builder.getOrCreate(self)
    267     sparkConf.set(key, value)
    268 # This SparkContext may be an existing one.
--> 269 sc = SparkContext.getOrCreate(sparkConf)
    270 # Do not update `SparkConf` for existing `SparkContext`, as it's shared
    271 # by all sessions.
    272 session = SparkSession(sc, options=self._options)

File ~/miniforge3/envs/bigdata/lib/python3.9/site-packages/pyspark/context.py:483, in SparkContext.getOrCreate(cls, conf)
    481 with SparkContext._lock:
    482     if SparkContext._active_spark_context is None:
--> 483         SparkContext(conf=conf or SparkConf())
    484     assert SparkContext._active_spark_context is not None
    485     return SparkContext._active_spark_context

File ~/miniforge3/envs/bigdata/lib/python3.9/site-packages/pyspark/context.py:195, in SparkContext.__init__(self, master, appName, sparkHome, pyFiles, environment, batchSize, serializer, conf, gateway, jsc, profiler_cls, udf_profiler_cls)
    189 if gateway is not None and gateway.gateway_parameters.auth_token is None:
    190     raise ValueError(
    191         "You are trying to pass an insecure Py4j gateway to Spark. This"
...
--> 106     raise RuntimeError("Java gateway process exited before sending its port number")
    108 with open(conn_info_file, "rb") as info:
    109     gateway_port = read_int(info)

RuntimeError: Java gateway process exited before sending its port number

我在谷歌上搜索了很多，最后决定在这里遵循这个解决方案###RuntimeError: Java gateway process exited before sending its port number ，因此我需要通过~/.zshrc .zshrc 将 go 添加到 zshrc 添加一行：

export JAVA_HOME="/path/to/java_home/" 。 但是它给了我这个错误zsh: permission denied: /Users/user/.zshrc我在这里尝试了这些解决方案，但它不起作用。 https://www.stellarinfo.com/blog/fixed-zsh-permission-denied-in-mac-terminal/ 。 我已将全磁盘访问权限授予终端。

因此我现在有两个问题，

1. Java 网关进程在发送其端口号之前退出。
2. zsh 权限被拒绝。

有人愿意帮忙吗？

Answer 1

第1步

打开你的终端。

第2步

cd ~
vim .zshrc

第三步

按 i 插入，然后使用箭头键导航。 插入你的命令。

export JAVA_HOME="/path/to/java_home/"

先试试上面的方法。 如果它抛出错误，您可能需要在最后删除反斜杠。

从您的错误代码来看，您似乎是在虚拟环境中运行。 如果还是报错，请尝试conda env remove当前env，重新创建。 然后记得先conda install openjdk ，再conda install pyspark 。 希望这可以帮助。