EMR無法運行python 3.x

Question

我在EMR中添加了一個步驟來運行pyspark作業。 但是我最終得到錯誤

TypeError: makedirs() got an unexpected keyword argument 'exist_ok'

這使我懷疑正在運行EMR默認版本python2.7。 我使用的ami版本是5.25.0，這是相當新的，根據文檔，應該已經安裝了3.6。

#!/usr/bin/env python3.6

我添加了shebang以提供可執行文件。 還有別的嗎？

Answer 1

沒錯 python的系統默認版本是2.7，但也有帶有python3命令的pythoh3.x。 您可以按照以下文檔進行更改。

如何配置Amazon EMR以使用Python 3.4或3.6運行PySpark作業？

基本上，在正在運行的集群上鍵入以下命令

sudo sed -i -e '$a\export PYSPARK_PYTHON=/usr/bin/python3' /etc/spark/conf/spark-env.sh

或在創建群集時設置配置，例如

[
  {
     "Classification": "spark-env",
     "Configurations": [
       {
         "Classification": "export",
         "Properties": {
            "PYSPARK_PYTHON": "/usr/bin/python3"
          }
       }
    ]
  }
]

Answer 2

那確實是解決方案，但是值得一提的是，我正在使用數據管道來運行集群。 要提供此配置， 如果您選擇在Architect中進行編輯而不是提供json配置，則需要在下面的資源部分中創建一個配置對象。

您在此處創建的配置將級聯導出配置。 見下文。

該屬性將僅僅是“ PYSPARK_PYTHON”：“ / usr / bin / python3”作為鍵和值

在您的emr控制台中，然后應將配置對象顯示為

spark-env.export