通过Pyspark提交Spark作业时，如何确保在工作人员上使用哪个Python？
[英]When I submit a Spark job through Pyspark, how can I ensure which Python is used on the workers?
问题描述
是否足以确保在conf / spark-env.sh中设置了PYSPARK_PYTHON以指向这些工作程序上的正确Python，还是还需要执行其他操作？
1 个解决方案
解决方案1
1 2015-10-08 22:38:05
抱歉，我误会了您的问题...我认为“ PYSPARK_PYTHON”足够好，如果您想再次检查，那么您可以尝试使用Chef或Puppet为所有主人和工人部署相同的环境（包括python路径）。
我不确定您使用的是哪个版本，但是最新的1.5.1版本可以使用Web界面来监视您的工作状态
http://<server-url>:18080
http://<driver-node>:4040
您只需在网络浏览器中打开http：//：4040即可访问此界面。 如果多个SparkContext在同一主机上运行，它们将绑定到以4040（4041、4042等）开头的连续端口。
您可以阅读有关监控和仪器的更多信息
Python：如何确保函数中使用的模块别名是正确的？
[英]Python: How can I ensure module aliases used in functions are correct?
当我使用spark-submit运行我的job.py时，它总是说文件'pyspark.zip'不存在
[英]when I use spark-submit to run my job.py,it always says the file 'pyspark.zip' does not exist
Python Hypothesis 包：我可以确保使用某些值吗？
[英]Python Hypothesis package: can I ensure that certain values are used?
如何使用 spark-submit 和 python 脚本到达 Docker 容器中的火花簇？
[英]How can I reach a spark cluster in a Docker container with spark-submit and a python script?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
提交 spark 作业时，我可以向 python 代码添加参数吗？
如何使用 spark submit 提交 pyspark 作业？
Python：如何确保函数中使用的模块别名是正确的？
当我使用spark-submit运行我的job.py时，它总是说文件'pyspark.zip'不存在
如何使用多个 python 文件提交 pyspark 作业？
Python Hypothesis 包：我可以确保使用某些值吗？
如何通过 Python 向 Selenium 动态提交命令？
在 Spark 工作线程上更改 PYSPARK_PYTHON
如何使用 spark-submit 和 python 脚本到达 Docker 容器中的火花簇？
如何确保在 Python 中“定义”了一个函数？
相关标签