無法在我的機器上運行Spark（Ubuntu 18.04）

Question

我收到此錯誤：

[FATAL tini (9)] exec /usr/local/spark-2.3.1-bin-hadoop2.7/bin/pyspark failed: No such file or directory

在終端中運行以下命令時：

docker run -it --rm -p 4040:4040 \
jupyter/pyspark-notebook \
/usr/local/spark-2.3.1-bin-hadoop2.7/bin/pyspark

Answer 1

您要做的就是使用shell手動登錄到Docker容器並檢查路徑。 為此，您將：

docker run -it --rm jupyter/pyspark-notebook sh

然后使用ls遍歷目錄樹。

實際上，在您的jupyter/pyspark-notebook使用的當前版本的jupyter/pyspark-notebook使用spark-2.4.0-bin-hadoop2.7 （通知版本不匹配），因此您的答案是：

采用

docker run -it --rm -p 4040:4040 jupyter/pyspark-notebook /usr/local/spark-2.4.0-bin-hadoop2.7/bin/pyspark