ec2 實例無法連接到網站

Question

我為網頁抓取目的創建了一個 ec2 實例。 但是，我無法使用 selenium 抓取任何網站，因為出現以下錯誤：

“selenium.common.exceptions.TimeoutException：消息：連接被拒絕”錯誤。

我認為這與阻止網站的安全組設置有關。 所以我根據這個創建了一個新的安全組。 但是，執行此操作后，我無法再通過 ssh 連接到 EC2 實例。

我的 EC2 實例需要什么配置才能抓取網站？

Answer 1

要訪問 SSH，您需要修改安全組，如下圖所示：

要訪問 HTTP（80 端口）或 HTTPS（443 端口），您需要添加如下規則：

檢查這兩個規則是否啟用。 這些都是入站規則。

Answer 2

我假設您在 Amazon EC2 實例上使用 Selenium。

您的入站安全組設置與 Selenium 無關，但您可能想要登錄實例。 因此，您的入站安全組應允許端口 22（對於 Linux）或端口 3389（對於 Windows RDP）。

要允許實例上的 Selenium 應用程序訪問 Internet，您可以使用Outbound安全組的默認“全部允許”設置：所有流量、所有端口、目的地 = 0.0.0.0/0

您嘗試抓取的網站可能阻止了Amazon EC2 實例的 IP 地址范圍。 （始終根據網站的使用條件進行操作！）您可以通過連接到 Amazon EC2 實例然后嘗試檢索一些網站來測試這一點，例如：

curl www.google.com

應返回 HTML 頁面的內容。

然后，在您打算抓取的網站之一上進行嘗試，以驗證該實例是否可以訪問該網站。