使用python的動態網頁爬蟲

Question

我想在線閱讀這篇文章，突然出現了一些東西，我想在我成功提取它后我想離線閱讀它......所以我經過 4 周的試用，所有問題都歸結為我的爬蟲可以即使在所有的騷動之后，似乎也沒有閱讀網頁的內容......

最初的問題是所有信息都沒有出現在一個頁面上，所以使用按鈕來導航網站本身的內容......

我試過 BeautifulSoup，但它似乎不能很好地解析頁面。 我目前正在使用 selenium 和 chromedriver。

爬蟲無法讀取頁面的原因似乎是robot.txt文件（爬蟲單頁等待時間3600，文章10頁左右，可以忍受，但是如果這樣會怎么樣？說 100+），我不知道如何繞過它或繞過它。

有什么幫助嗎？？

Answer 1

如果 robots.txt 設置了限制，那么就到此為止。 您應該合乎道德地進行網絡抓取，這意味着如果網站所有者希望您在請求之間等待 3600 秒，那么就這樣吧。

即使 robots.txt 沒有規定等待時間，您仍然應該注意。 小型企業/網站所有者可能不知道這一點，如果您不斷地敲打網站，他們可能會付出高昂的代價。