連接到 EMR 的 SageMaker notebook 導入自定義 Python 模塊

Question

我查看了類似的問題，但沒有一個解決了我的問題。 我有一個 SageMaker 筆記本實例，打開了一個連接到 AWS EMR 集群的 SparkMagic Pyspark 筆記本。 我有一個連接到此筆記本的 SageMaker 存儲庫，也稱為 dsci-Python

目錄看起來像：

/home/ec2-user/SageMaker/dsci-Python
/home/ec2-user/SageMaker/dsci-Python/pyspark_mle/datalake_data_object/SomeClass
/home/ec2-user/SageMaker/dsci-Python/Pyspark_playground.ipynb

pyspark_mle 和 datalake_data_object 目錄下都有__init__.py ，我在其他環境中導入它們沒有問題

當我在 Pyspark_playground.ipynb 中運行這段代碼時：

from pyspark_mle.datalake_data_object.SomeClass.SomeClass import Something

我沒有名為“pyspark_mle”的模塊

我認為這是一個環境路徑的事情。

Answer 1

存儲庫位於您的筆記本實例上，而 PySpark 內核正在 EMR 集群上執行代碼。

要訪問 EMR 集群上的這些本地模塊，您可以克隆 EMR 集群上的存儲庫。

此外，SparkMagic 有一個有用的魔法send_to_spark ，可用於將數據從 Notebook 本地發送到 Spark 內核。 https://github.com/jupyter-incubator/sparkmagic/blob/master/examples/Send%20local%20data%20to%20Spark.ipynb