繁体   English   中英

spark-submit找不到python脚本

[英]spark-submit cannot find python script

我收到以下错误

16/06/29 15:04:36 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: Added file file:/path/to/app/model_app.py does not exist.

当我运行命令

local:~ noob$ spark-submit --master local[*] --jars /path/to/jar/mysql-connector-java-5.0.8-bin.jar /path/to/app/model_app.py

我的env vars如下

export SPARK_HOME=/Users/noob/spark-1.5.0-bin-hadoop2.6
export PATH=$PATH:/bin:/usr/bin:/usr/local/bin:/sbin:/usr/sbin:/usr/local/sbin:$SPARK_HOME/bin:$SPARK_HOME/jars
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

如果我将python脚本移动到$SPARK_HOME/python并从该文件夹运行spark-submit,那么一切运行正常。

如果我将/path/to/app添加到$PYTHONPATH$PATH - 我仍然会收到文件未找到错误。

显然有一种更好的方法来运行spark应用程序,而不是将app.py脚本添加到$SPARK_HOME/python文件夹,然后从文件夹内部运行它。

我在这里错过了什么? 还有什么方法可以按计划运行火花作业(比如cron作业)?

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM