更改數據塊上的 PATH 環境變量

Question

我需要更新我的 python 路徑，以便我可以在 databricks 上使用 python3。

在數據塊筆記本上：

  %sh
  echo $PATH

  /databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin

然后，我運行：

  %sh
  export PATH=/databricks/python3/bin:$PATH

但是，我仍然得到：

  %sh
  echo $PATH

  /databricks/python2/bin:/databricks/python3/bin:/usr/local/sbin

如何更改路徑？ 另外，當我在 databricks 上創建集群時，python 版本是 3.6 但為什么使用 python2？

謝謝

Answer 1

根據Cluster Configurations / Databricks Runtime / Python version的官方文檔Cluster Configurations / Databricks Runtime / Python version of Databricks，聽起來你現在的databricks集群是為Runtime 5.5或以下使用Python 2創建的，因為5.5以上的databricks運行時版本只支持Python 3，如下圖.

所以如果你只想在 databricks 中使用 Python 3，你只需要創建一個運行時版本高於 5.5 的集群。

或者，如果您必須使用 Runtime 5.5，請創建一個新集群來指定 Python 2。 注意：我嘗試在現有運行集群上通過%sh export PYSPARK_PYTHON=....使用 Python 3 路徑設置環境變量PYSPARK_PYTHON ，它不起作用。