我不知道為什么，但我在 Image_url 中沒有得到任何東西。我正在使用scrapy

Question

從..items導入scrapy導入MatchesfashionItem

類 SpiderSpider（scrapy.Spider）：名稱 = '蜘蛛'

start_urls = ['https://www.matchesfashion.com/intl/mens/shop/shoes']

def parse(self, response):
    items=MatchesfashionItem()
    Name = response.css('.lister__item__details::text').extract()
    Brand = response.css('.lister__item__title::text').extract()
    Price = response.css('.lister__item__price-full::text').extract()
    Image_Url = response.css('div.lister__item__image productView').css('a').css('img::attr(src)')
    Product_Url = response.css('.lister__item__inner').css('div.lister__item__image').css('a::attr(href)').extract()

    items['Name'] = Name
    items['Brand'] = Brand
    items['Price'] = Price
    items['Image_Url'] = Image_Url
    items['Product_Url'] = Product_Url

    yield items

Answer 1

這可能是因為包括圖像在內的一些內容是由 javascript 生成的，然后在 DOM 上呈現。

檢查這里的答案可能會有所幫助： Web-scraping JavaScript page with Python