scrapy (python) 中的无效 xpath

Question

你好我正在尝试使用 scrapy 构建一个爬虫我的爬虫代码是：

import scrapy
from shop.items import ShopItem


class ShopspiderSpider(scrapy.Spider):
    name = 'shopspider'
    allowed_domains = ['www.organics.com']
    start_urls = ['https://www.organics.com/product-tag/special-offers/']



    def parse(self, response):
      items = ShopItem()
      title = response.xpath('//*[@id="content"]/div[2]/div[1]/ul/li[1]/a/h3').extract()
      sale_price = response.xpath('//*[@id="content"]/div[2]/div[1]/ul/li[1]/a/span[2]/del/span').extract()
      product_original_price = response.xpath('//*[@id="content"]/div[2]/div[1]/ul/li[1]/a/span[2]/ins/span').extract()
      category = response.xpath('//*[@id="content"]/div[2]/div[1]/ul/li[1]/a/span[2]/ins/span').extract()

      items['product_name'] = ''.join(title).strip()
      items['product_sale_price'] = ''.join(sale_price).strip()
      items['product_original_price'] = ''.join(product_original_price).strip()
      items['product_category'] = ','.join(map(lambda x: x.strip(), category)).strip()
      yield items

但是当我运行命令时： scrapy crawl shopspider -o info.csv
要查看 output，我只能找到有关第一个产品的信息，而不是此页面中的所有产品。
所以我删除了 xpath 中 [ ] 之间的数字，例如 title://*[@id="content"]/div/div/ul/li/a/h3 的 xpath
但仍然得到相同的结果。
结果是： <span class="amount">£40.00</span>,<h3>Halo Skincare Organic Gift Set</h3>,"<span class=""amount"">£40.00</span>","<span class=""amount"">£58.00</span>"
请帮助

Answer 1

如果您删除 XPath 上的索引，它们将找到页面中的所有项目：

response.xpath('//*[@id="content"]/div/div/ul/li/a/h3').extract() # Returns 7 items

但是，您应该注意到这将返回所选 html 元素的字符串列表。 如果您想要元素内的文本，您应该在 XPath 中添加/text() 。 （看起来像你）

此外，您只得到一个回报的原因是因为您在将所有项目分配给item时将它们连接成一个字符串：

items['product_name'] = ''.join(title).strip()

这里的title是一个元素列表，您可以将它们全部连接到一个字符串中。 相同的逻辑适用于其他变量

如果这确实是您想要的，您可以忽略以下内容，但我相信更好的方法是执行 for 循环并分别yield它们？

我的建议是：

def parse(self, response):
  products = response.xpath('//*[@id="content"]/div/div/ul/li')
  for product in products:
      items = ShopItem()
      items['product_name'] = product.xpath('a/h3/text()').get()
      items['product_sale_price'] = product.xpath('a/span/del/span/text()').get()
      items['product_original_price'] = product.xpath('a/span/ins/span/text()').get()
      items['product_category'] = product.xpath('a/span/ins/span/text()').get()

      yield items

请注意，在您的原始代码中，您的category var 与您的product_original_price具有相同的 XPath ，我将逻辑保留在代码中，但这可能是一个错误。