抓取后出現網站錯誤

Question

我制作了一個簡單的刮板，可以訪問一張專輯，並從azlyrics.com刮刮每首歌曲的歌詞。

工作大約一個小時后，該網站崩潰了，並出現錯誤：

鉻：

www.azlyrics.com沒有發送任何數據。 ERR_EMPTY_RESPONSE

Tor，firefox，waterfox：

重置連接加載頁面時重置了與服務器的連接。

我的家庭網絡中的所有設備都是一樣的。 如果我使用移動數據通過手機訪問它，則可以正常工作。

我嘗試使用ipconfig / release / renew修復它，但是沒有用。 我茫然不知所措，甚至為何會發生。 任何幫助是極大的贊賞。

Answer 1

顯然，您的IP因可疑活動而被該網站禁止。 有幾種解決方法：

• 與網站所有者交談。 這是最直接，最好的方法
• 更改您的IP，例如通過公共代理池或Tor連接。 這有點臟，並且不夠堅固，例如，用戶代理或刮板的某些其他屬性可能會禁止您使用它。