[英]How to set environment variables for pyspark executor in aws emr?
我有一个运行 pyspark 个应用程序的 AWS EMR 集群(或步骤,如它在 aws emr 中所称)。
我想为 pyspark 应用程序设置环境变量,并将其放入集群配置中(经过一些谷歌搜索后):
[
{
"Classification": "spark-defaults",
"Properties": {
"spark.executorEnv.MY_ENV": "some-value"
}
}
]
通过环境变量在 pyspark 进程中不可用。
我也试过:
[
{
"Classification": "yarn-env",
"Properties": {},
"Configurations": [
{
"Classification": "export",
"Properties": {
"MY_ENV": "some-value",
}
}
]
}
]
然后 output 环境变量通过:
print(os.environ)
MY_ENV
在任何情况下都不会出现。
如何将环境变量传递到我的 pyspark 应用程序?
你能试着把它放在spark-env
中吗?
[
{
"Classification": "spark-env",
"Properties": {},
"Configurations": [
{
"Classification": "export",
"Properties": {
"MY_ENV": "some-value",
}
}
]
}
]
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.