Scrapy Spider中的xpath / regex问题

Question

我正在尝试从ul标签（id =“ ShowProductImages”）的“上一个兄弟”中的onclick标签中提取产品ID。

我要提取的数字直接在？pid =之后，例如：

...列表/ ViewAll？pid = 234565 ＆image = 206 ...

以下是我要从中提取的内容：

<ul id="ShowProductImages" class="imageView">
    <li><a href="" target="_blank" onClick="javascript:initWindow('http://products.example.com/products/list/ViewAll?pid=234565&amp;image=754550',520,520,100,220);return false;"><img src="http://content.example.com/assets/images/products/j458jk.jpg" width="200" height="150" alt="Product image description here" border="0"></a></li>        
</ul>

<div class="description">
    Description here...
</div>

我正在使用xpath选择onclick标记以及正则表达式以提取ID。 这是我正在使用的代码（不起作用）

def parse(self, response):
  sel = HtmlXPathSelector(response)
  products_path = sel.xpath('//div[@class="description"]')
  for product_path in products_path:
   product = Product()
   product['product_pid'] = product_path.xpath('preceding-sibling::ul[@id="ShowProductImages"][1]//li/a[1]/@onclick').re(r'(?:pid=)(.+?)(?:\'|$)')
   yield product

有什么建议么？ 我不太确定自己哪里出了问题。

感谢您的帮助。

Answer 1

我建议您尝试此操作，从ul选择，并在谓词中测试其<div class="description">同级：

sel.xpath("""//ul[following-sibling::div[@class="description"]]
                 [@id="ShowProductImages"]
                 /li/a[1]/@onclick""").re(r'(?:pid=)(\d+)')

我更改了您的正则表达式以限制为数字。