Scrapy CrawlSpider允许和拒绝规则

Question

我正在尝试爬网一个网站，我希望它爬网其中所有带有“类别”的页面，除非它们具有“ ecatalog”。 如果ecatalog在网址中，请不要抓取，将其包含在输出中。

我只是在允许范围内添加了“目录”，这似乎可行，因为它处理的所有URL似乎都包含“目录”。 它可能没有设计完整的正​​则表达式就起作用了（但是由于大多数url都有类别，所以我不能确定。 但是，任何时候我在de​​ny值中添加任何内容，最终只会抓取站点地图页面然后停止。

我尝试了这三个和其他几个。 让我感到困惑的是，我会假设如果我的拒绝价值很差，它将不会拒绝任何事情，所有的ursl都会回来。 取而代之的是，deny中的任何值都会使其在第一个URL之后消失。

deny='ecatalog'
deny='.*eatalog.*
deny='/.*ecatalog.*'

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class ElectronicsSpider(CrawlSpider):
    name = "example"
allowed_domains = ["www.example.com"]
start_urls = [
    'https://www.example.com/content/sitemap'
]

rules = (
    Rule(LinkExtractor(allow='/category', deny='/ecatalog'),
         callback="parse_item",
         follow=True),)

def parse_item(self, response):
    print('Processing..' + response.url)