Scrapy有商品限制吗？

Question

在那些日子里，我用Python在Scrapy中制作了Spider。 它基本上是一个简单的Spider类，可以对Html页面中的某些字段进行简单的解析。 我不使用starts_url [] Scrapy字段，但是我使用如下个性化列表：

class start_urls_mod():
def __init__(self, url, data):
    self.url=url
    self.data=data

#Defined in the class:
url_to_scrape = []
#Populated in the body in this way
self.url_to_scrape.append(start_urls_mod(url_found), str(data_found))

以这种方式传递网址

for any_url in self.url_to_scrape:
    yield scrapy.Request(any_url.url, callback=self.parse_page)

在有限数量的网址（例如3000）下，效果很好。

但是，如果我尝试进行测试，发现刮擦了约32532个网址。 在JSON输出文件中，我发现只有大约3000个网址被抓取。

我的功能自我回忆：

yield scrapy.Request(any_url.url, callback=self.parse_page)

所以问题是，Scrapy项目有一些内存限制吗？

Answer 1

否，如果您尚未在设置中指定CLOSESPIDER_ITEMCOUNT 。

也许您发现Scrapy在您的请求中发现重复项，请检查统计信息中是否包含类似dupefilter/filtered的日志。