有沒有辦法最小化這種沙啞蜘蛛的長度

Question

我試圖避免硬編碼我的蜘蛛。

作為練習，我從Wikipedia抓取文本時，收到的文本帶有不必要的數據，例如\\n和[1],[2],...,[5] 。

import scrapy
from scrapy.utils.markup import remove_tags


class Wiki_BD_Spider(scrapy.Spider):
    name = 'wiki_black_death'

    start_urls = ['https://en.wikipedia.org/wiki/Black_Death']

    def parse(self, response):
        data = response.xpath('//div[@class = "mw-parser-output"]/p[2]').extract()

        for item in data:
            yield {
                'history': remove_tags(item).replace('\n', '').replace('[1]', '').replace('[2]', '').replace('[3]', '').replace('[4]', '').replace('[5]', '')
            }

結果輸出是我希望達到的結果，但是，有沒有一種更好的方法可以使for循環內的代碼更小？

Answer 1

當然，您可以使用re.sub清理輸出，請嘗試以下代碼：

import scrapy, re
from scrapy.utils.markup import remove_tags


class Wiki_BD_Spider(scrapy.Spider):
    name = 'wiki_black_death'

    start_urls = ['https://en.wikipedia.org/wiki/Black_Death']

    def parse(self, response):
        yield {'history': re.sub('\[[0-9]\]','',remove_tags(response.xpath('//div[@class = "mw-parser-output"]/p[2]').extract_first().replace('\n', '')))}