[英]spark-submit cannot find python script
我收到以下错误
16/06/29 15:04:36 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: Added file file:/path/to/app/model_app.py does not exist.
当我运行命令
local:~ noob$ spark-submit --master local[*] --jars /path/to/jar/mysql-connector-java-5.0.8-bin.jar /path/to/app/model_app.py
我的env vars如下
export SPARK_HOME=/Users/noob/spark-1.5.0-bin-hadoop2.6
export PATH=$PATH:/bin:/usr/bin:/usr/local/bin:/sbin:/usr/sbin:/usr/local/sbin:$SPARK_HOME/bin:$SPARK_HOME/jars
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
如果我将python脚本移动到$SPARK_HOME/python
并从该文件夹运行spark-submit,那么一切运行正常。
如果我将/path/to/app
添加到$PYTHONPATH
或$PATH
- 我仍然会收到文件未找到错误。
显然有一种更好的方法来运行spark应用程序,而不是将app.py脚本添加到$SPARK_HOME/python
文件夹,然后从文件夹内部运行它。
我在这里错过了什么? 还有什么方法可以按计划运行火花作业(比如cron作业)?
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.