如何抓取動態網站-使用python scrapy？

Question

我可以使用scrapy抓取靜態網站，但是，我嘗試抓取的另一個網站的HTML中有2個部分； “頭”和“身體負荷”。 而我需要的信息在正文加載部分中。 我認為在請求html之后加載內容，因此網站是動態的。 使用scrapy可以做到嗎？ 我還需要哪些其他工具？

Answer 1

看看scrapy_splash ，它是scrapy的呈現服務，它使您可以爬網基於javascript的網站。

您還可以創建自己的下載器中間件，並將Selenium與PhantomJS結合使用 （ 示例 ）。 該技術的缺點是您失去了scrapy提供的並發性。

無論如何，我認為飛濺是實現此目的的最佳方法。

希望這可以幫助。