從 Jupyter PySpark 筆記本中的 git 克隆導入 python 模塊

Question

我正在嘗試使用 Azure HDInsight 上的 Jupyter Pyspark 筆記本從 git 存儲庫中克隆和導入 python 模塊。

在第一個筆記本單元中，我成功克隆了 git 存儲庫：

%%sh 
mkdir ~/code
cd ~/code
git clone https://path-to-my-repo/MyRepo

在下一個單元格中，我嘗試導入模塊：

import sys
sys.path.append('~/code/MyRepo')
import mymodule

這失敗了：

ImportError: No module named mymodule

在進一步的 os.system('ls...') 調查中，python 單元似乎在它們自己的環境中運行，並且 python 單元無法訪問在 %%sh 單元中創建的文件。

我正在尋找一種方法來克服這個問題並從 python 單元中訪問我的 git 克隆。

Answer 1

我找到了解決此問題的解決方法，方法是從 python 單元格中克隆存儲庫，通過 subprocess.check_output 運行 shell 命令：

import subprocess
import sys
#GIT clone
subprocess.check_output('mkdir ~/code ; ~/code ; cd ~/code & git clone https://path-to-my-repo/MyRepo')
sys.path.append('~/code/MyRepo')
import mymodule

Answer 2

嘗試：

import sys
sys.path.append('~/code')
from MyRepo import mymodule

還要檢查區分大小寫的名稱不匹配