更改数据块上的 PATH 环境变量

Question

我需要更新我的 python 路径，以便我可以在 databricks 上使用 python3。

在数据块笔记本上：

  %sh
  echo $PATH

  /databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin

然后，我运行：

  %sh
  export PATH=/databricks/python3/bin:$PATH

但是，我仍然得到：

  %sh
  echo $PATH

  /databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin

如何更改路径？ 另外，当我在 databricks 上创建集群时，python 版本是 3.6 但为什么使用 python2？

谢谢

Answer 1

根据Cluster Configurations / Databricks Runtime / Python version的官方文档Cluster Configurations / Databricks Runtime / Python version of Databricks，听起来你现在的databricks集群是为Runtime 5.5或以下使用Python 2创建的，因为5.5以上的databricks运行时版本只支持Python 3，如下图.

所以如果你只想在 databricks 中使用 Python 3，你只需要创建一个运行时版本高于 5.5 的集群。

或者，如果您必须使用 Runtime 5.5，请创建一个新集群来指定 Python 2。 注意：我尝试在现有运行集群上通过%sh export PYSPARK_PYTHON=....使用 Python 3 路径设置环境变量PYSPARK_PYTHON ，它不起作用。