[英]Scrapy spider scrape the last URL from the list of URLs in a text file
我正在遍历文本文件中的 URL 列表,但 scrapy 蜘蛛从最后一个 URL 开始并在抓取它后存在。 它不会遍历其他 URL。 这可能是什么原因?
您可以在此处找到代码和文本文件:
感谢@furas,以下代码工作正常:
links_list = open(..).read().split("\n") and start_urls = links_list
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.