为什么切换conda环境会消除HADOOP_CONF_DIR？

Question

我有一个奇怪的环境问题。 我有两个rnn环境base和rnn 。 当我在base环境中输入pyspark --master yarn时，交互式外壳程序成功启动，并且我可以使用YARN Web UI来查看PySpark外壳程序已提交给YARN。

但是，当我键入source activate rnn ，然后pyspark --master yarn ，我看到抛出了以下异常。

线程“主”中的异常java.lang.Exception：使用主线程“ yarn”运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。 在org.apache.spark.subpark.subpark.spark.deparky.spark.subpark.spark.deploy.sparksubmitarguments.validatesubmitarguments（sparksubmitarguments.scala：286）在org.apache.spark.deploy.sparksubmitarguments.validateArguments（sparksubmitarguments.scala：246） org.apache.spark.deploy.SparkSubmit $ .main（SparkSubmit.scala：129）的SparkSubmitArguments.scala：119）org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）的SparkSubmitArguments.scala：119）

如果切换回base conda环境，并输入printenv ，我也看不到HADOOP_CONF_DIR或YARN_CONF_DIR。 我对在何处或如何设置这些环境变量以及为什么从一个conda环境切换到另一个conda环境会导致上述异常感到困惑。 关于如何解决此问题的任何想法？