用scrapy刮一页
[英]Scraping one page with scrapy
问题描述
我有很长的 URL 流需要抓取和提取数据，我想为此使用scrapy。
假设我有一个 Twisted reactor 设置并且我创建了蜘蛛
runner = CrawlerRunner(scrapy_settings)
d = runner.crawl(spider_cls)
有没有办法将 URL 发送给蜘蛛，以便它处理它们？
1 个解决方案
解决方案1
1 已采纳 2016-05-31 19:53:59
crawl()方法可以接受额外的参数：
d = runner.crawl(spider_cls, start_urls=["url"])
用 Scrapy 抓取 ajax 页面？
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.