[英]Is there a way to minimize the length this scrapy spider
我试图避免硬编码我的蜘蛛。
作为练习,我从Wikipedia抓取文本时,收到的文本带有不必要的数据,例如\\n
和[1],[2],...,[5]
。
import scrapy
from scrapy.utils.markup import remove_tags
class Wiki_BD_Spider(scrapy.Spider):
name = 'wiki_black_death'
start_urls = ['https://en.wikipedia.org/wiki/Black_Death']
def parse(self, response):
data = response.xpath('//div[@class = "mw-parser-output"]/p[2]').extract()
for item in data:
yield {
'history': remove_tags(item).replace('\n', '').replace('[1]', '').replace('[2]', '').replace('[3]', '').replace('[4]', '').replace('[5]', '')
}
结果输出是我希望达到的结果,但是,有没有一种更好的方法可以使for循环内的代码更小?
当然,您可以使用re.sub
清理输出,请尝试以下代码:
import scrapy, re
from scrapy.utils.markup import remove_tags
class Wiki_BD_Spider(scrapy.Spider):
name = 'wiki_black_death'
start_urls = ['https://en.wikipedia.org/wiki/Black_Death']
def parse(self, response):
yield {'history': re.sub('\[[0-9]\]','',remove_tags(response.xpath('//div[@class = "mw-parser-output"]/p[2]').extract_first().replace('\n', '')))}
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.