Scrapy 忽略拒绝规则

Question

作为 scrapy 和 python 的新手，我正在为我的 Crawl Spider 的拒绝规则而苦苦挣扎。 我想过滤目标页面上的所有 URL，其中包含单词“versicherung”和双精度词？ URL 的任何部分的结构。 但是，scrapy 忽略了我的规则。 谁能告诉我语法有什么问题（我已经尝试过在 * 之前没有“”，但这也不起作用）？

规则：

rules = [Rule(LinkExtractor(deny=r'\*versicher\*', r\'*\?*\?\*',),
            callback='parse_norisbank', follow=True)]

日志：

DEBUG: Crawled (200) <GET https://www.norisbank.de/produkte/versicherungen/rechtsschutzversicherung.html> (referer: https://www.norisbank.de)
DEBUG: Crawled (200) <GET https://www.norisbank.de/produkte/versicherungen/haftpflichtversicherung.html> (referer: https://www.norisbank.de)
DEBUG: Crawled (200) <GET https://www.norisbank.de/produkte/versicherungen/hausratversicherung.html> (referer: https://www.norisbank.de)
DEBUG: Crawled (200) <GET https://www.norisbank.de/produkte/versicherungen/versicherungsmanager.html> (referer: https://www.norisbank.de)
DEBUG: Saved file nbtest-versicherungen.html

Answer 1

规则必须是正则表达式，并且（即使我更正了您的语法）您没有正确使用* 。

r'\*versicher\*'应该是r'.*versicher.*'编辑：查看 scrapy 文档，看起来r'versicher'就足够了。

我不明白您所说的“双重？结构”是什么意思，但您的网址似乎没有。

我希望r'.*\?\?.*'是你想要的（或r'\?\?' ）

在正则表达式中

• . 表示任何字符
• *表示前面的 0 个或多个（因此.*匹配任何内容）
• \\是您转义特殊字符的方式。 您不想转义* ，因为您希望它以特殊方式运行。