无法通过 pip 在 AWS EMR Notebook 上安装包

Question

我正在使用连接到 AWS EMR 集群的 Jupyter Notebook。 连接到集群所有节点的子网和安全组都能够连接到 Internet。 但是，当我尝试从附加到 EMR 集群的笔记本中pip install <package> ，我收到以下错误：

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.HTTPSConnection object at 0x7f6b4c6bd710>: Failed to establish a new connection: [Errno 101] Network is unreachable')': .... .

我还尝试向互联网r = requests.get('https://www.google.com')发出 GET 请求，但也未成功。 我无法弄清楚是什么阻止了我从 AWS EMR 上的 Jupyter Notebook 连接到 Internet。

Answer 1

由于您可以通过集群连接到互联网，因此可能是笔记本本身的安全组而不是集群的问题。

您是使用此处所述的 EMR 笔记本的默认安全组还是分配您自己的安全组？ 如果是，请确保您有正确的出站规则，尝试添加outbound rules并允许流量

Answer 2

在我的情况下，结果证明是我创建的 sg ElasticMapReduceEditors-Livy 和 ElasticMapReduceEditors-Editor 的问题，我只是在两个 sg 中添加了一个规则，允许所有出站流量测试是否解决了它，幸运的是它解决了它，然后我删除了这两个规则，并且神秘地我的笔记本继续像往常一样工作，我认为这是 aws 的不良行为。