使用Scrapy清除鏈接

Question

我正在嘗試抓取瑞典的房地產網站www.booli.se。 但是，我無法弄清楚如何跟蹤每個房屋的鏈接並提取價格，房間，年齡等信息。我只知道如何抓取一頁，而我似乎對此一無所知。 我正在做類似的事情：

for link in website:
    follow link
    attribute1 = item.css('cssobject::text').extract()[1]
    attribute2 = item.ss('cssobject::text').extract()[2]
    yield{'Attribute 1': attribute1, 'Attribute 2': attribute2}

這樣我就可以抓取數據並將其輸出到一個excel文件中。 我的用於抓取沒有以下鏈接的簡單頁面的代碼如下：

import scrapy

class BooliSpider(scrapy.Spider):
    name = "boolidata"
    start_urls = [
        'https://www.booli.se/slutpriser/lund/116978/'
    ]
    '''def parse(self, response):
        for link in response.css('.nav-list a::attr(href)').extract():
            yield scrapy.Request(url=response.urljoin(link), 
callback=self.collect_data)'''

    def parse(self, response):
        for item in response.css('li.search-list__item'):
            size = item.css('span.search-list__row::text').extract()[1]
            price = item.css('span.search-list__row::text').extract()[3]
            m2price = item.css('span.search-list__row::text').extract()[4]

            yield {'Size': size, 'Price': price, 'M2price': m2price}

感謝您的幫助。 確實很難將所有內容放在一起並將特定的鏈接內容輸出到一個內聚的輸出文件（excel）。

Answer 1

您可以使用scrapy的CrawlSpider跟蹤和抓取鏈接

您的代碼應如下所示：

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spider import CrawlSpider, Rule


class BooliItem(scrapy.Item):
    size = scrapy.Field()
    price = scrapy.Field()
    m2price = scrapy.Field()


class BooliSpider(CrawlSpider):
    name = "boolidata"
    start_urls = [
        'https://www.booli.se/slutpriser/lund/116978/',
    ]

    rules = [
        Rule(
            LinkExtractor(
                allow=(r'listing url pattern here to follow'),
                deny=(r'other url patterns to deny'),
            ),
            callback='parse_item',
            follow=True,
        ),
    ]

    def parse_item(self, response):
        item = BooliItem()
        item['size'] = response.css('size selector').extract()
        item['price'] = response.css('price selector').extract()
        item['m2price'] = response.css('m2price selector').extract()

        return item

您可以通過以下方式運行代碼：

scrapy crawl booli -o booli.csv

並將您的csv導入Excel。