無法通過 pip 在 AWS EMR Notebook 上安裝包

Question

我正在使用連接到 AWS EMR 集群的 Jupyter Notebook。 連接到集群所有節點的子網和安全組都能夠連接到 Internet。 但是，當我嘗試從附加到 EMR 集群的筆記本中pip install <package> ，我收到以下錯誤：

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.HTTPSConnection object at 0x7f6b4c6bd710>: Failed to establish a new connection: [Errno 101] Network is unreachable')': .... .

我還嘗試向互聯網r = requests.get('https://www.google.com')發出 GET 請求，但也未成功。 我無法弄清楚是什么阻止了我從 AWS EMR 上的 Jupyter Notebook 連接到 Internet。

Answer 1

由於您可以通過集群連接到互聯網，因此可能是筆記本本身的安全組而不是集群的問題。

您是使用此處所述的 EMR 筆記本的默認安全組還是分配您自己的安全組？ 如果是，請確保您有正確的出站規則，嘗試添加outbound rules並允許流量

Answer 2

在我的情況下，結果證明是我創建的 sg ElasticMapReduceEditors-Livy 和 ElasticMapReduceEditors-Editor 的問題，我只是在兩個 sg 中添加了一個規則，允許所有出站流量測試是否解決了它，幸運的是它解決了它，然后我刪除了這兩個規則，並且神秘地我的筆記本繼續像往常一樣工作，我認為這是 aws 的不良行為。