繁体   English   中英

Scrapy 蜘蛛从文本文件中的 URL 列表中抓取最后一个 URL

[英]Scrapy spider scrape the last URL from the list of URLs in a text file

我正在遍历文本文件中的 URL 列表,但 scrapy 蜘蛛从最后一个 URL 开始并在抓取它后存在。 它不会遍历其他 URL。 这可能是什么原因?

您可以在此处找到代码和文本文件:

https://github.com/CodeWithAwais/yell_spider.git

感谢@furas,以下代码工作正常:

links_list = open(..).read().split("\n") and start_urls = links_list

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM