在Scrapy中使用Xpath时如何表达4位数字

Question

目的是使用Scrapy抓取网站。 我想要得到的东西都是在div之间具有唯一的4位数字ID，如下所示：

<div id="3456" ...> Item 1 </div>
<div id="5643" ...> Item 2 </div>
<div id="8767" ...> Item 3 </div>

我需要知道如何在以下命令中通用定义4位数字，因此我可以转到每个项目进行抓取。

for sel in response.xpath('//div[@id="4-digit-number-description"]'):

Answer 1

使用Scrapy，您可以在XPath表达式内使用正则表达式 ，非常方便：

response.xpath('//div[re:test(@id, "\d{4}")]')